Ծնվել է Տեռասայում։ Ժոզեֆ Օլլերը մանկության տարիներին ընտանիքի հետ գաղթել է Ֆրանսիա։ Ավելի ուշ նա վերադարձել է Իսպանիա, որպեսզի սովորի Բիլբաոյի համալսարանում։ Այնտեղ նա սկսել է հետաքրքրվել աքլորակռվով ու սկսել բուքմեյքերի իր գործունեությունը։
1867 թվականին Փարիզում Ժոզեֆ Օլերը հայտնագործել է խաղադրույքների նոր եղանակ, որը նա անվանել է Pari Mutuel։ Նա հաջողությամբ ներկայացրել է իր համակարգը ֆրանսիական մրցարշավներում։ Այնուամենայնիվ, 1874 թվականին Ժոզեֆ Օլլերը դատապարտվել է տասնհինգ օրվա ազատազրկման և տուգանվել անօրինական մոլախաղերի համար։ 1891 թվականին Ֆրանսիայի իշխանությունները օրինականացրել են իրենց համակարգը և արգելել արձանագրված հավանականության խաղադրույքները։
1870 թվականիին նա որոշ ժամանակով տեղափոխվել է Լոնդոն` խուսափելու Ֆրանս-պրուսական պատերազմից։ Այնտեղ նա շփվել է բեմական աշխարհի հետ։
1876 թվականից սկսած Ժոզեֆ Օլլերը իր ուշադրությունը կենտրոնացրել է ժամանցի արդյունաբերության վրա։ Առաջին անգամ նա բացել է տարբեր լսարաններ և վայրեր։ Սակայն միայն 1889 թվականին են ինքն ու իր ընկերը՝ Շառլ Զիդլերը, բացել հայտնի Մուլեն Ռուժը[4][6][8]։ «Մուլեն Ռուժ» կաբարեի բացումը, որը ծրագրվել էր որպես «աշխարհի առաջին պալատը` կանանց համար և պարի ամենանշանավոր տաճարը», նվիրված էր Փարիզում Համաշխարհային ցուցահանդեսի մեկնարկին և Էյֆելյան աշտարակի կառուցման ավարտին[9]։ Չորս տարի անց, նա բացել է Փարիզի առաջին մյուզիք-հոլլը` Փարիզյան Օլիմպիան։