デッサウで生まれた。父親のフェルディナント・オリヴィエ(Ludwig Heinrich Ferdinand Olivierまたは Ferdinand Olivier der Ältere)はスイス、ヴォー州の出身でデッサウの改革派の学校フィランソロピニム (Philanthropinum) の教授だった。兄第に画家となったフェルディナント・オリヴィエ(Johann Heinrich Ferdinand Olivierまたは Ferdinand Olivier der Jüngere:1785-1841)とハインリヒ(Heinrich Olivier: 1783-1848)がいる。
1801年から1802年の間にフィランソロピニムの美術の教授のコルベ (Carl Wilhelm Kolbe der Ältere)や ハルデンヴァンク (Johann Christian Haldenwang) から美術教育を受けた。デッサウの宮廷彫刻家、フリーデマン・フノルト(Friedemann Hunold)の指導も受けた。
1818年11月に、カール・シュミット[1] とカロルスフェルトとイタリアへ旅し、フィレンツェに滞在していた時に、美術史研究家のルーモール( Karl Friedrich von Rumohr)と知り合い、ローマでは画家のパッサファント(Johann David Passavant)やヨハン・フリードリヒ・オーファーベック、ペーター・フォン・コルネリウス、フリードリッヒ・ヴィルヘルム・シャドウ、ヨハネス・ファイトといった画家と交流した。プロイセンの大使が滞在したPalazzo Caffarelliに部屋を与えられて画家のレーベニッツ(Theodor Rehbenitz)と活動した。4年のローマでの滞在後、1823年にウィーンに戻った。1825年に、兄の結婚相手の連れ子の女性と結婚した。
Constantin von Wurzbach: O’Livier, Künstlerfamilie. In: Biographisches Lexikon des Kaiserthums Oesterreich. 21. Theil. Kaiserlich-königliche Hof- und Staatsdruckerei, Wien 1870, S. 57 f. (Digitalisat).
Franz Schnorr von Carolsfeld: Olivier, Ferdinand von. In: Allgemeine Deutsche Biographie (ADB). Band 24, Duncker & Humblot, Leipzig 1887, S. 308–311. (Familienartikel)
Helga Heise: Olivier, von. In: Neue Deutsche Biographie (NDB). Band 19, Duncker & Humblot, Berlin 1999, ISBN 3-428-00200-8, S. 523 f. (Digitalisat).