Pocházel ze starého skotského rodu Ogilvy, byl synem baronaJiřího Benedikta Ogilvyho (1651–1710), maršála v císařských, ruských a polských službách. Po otcově vzoru vstoupil již v roce 1693 do armády, svou kariéru začal během devítileté války, v roce 1695 se stal také pážetem u dvora císaře Leopolda I. Vynikl během války o španělské dědictví v Itálii a Nizozemí a postupoval v hodnostech (major 1705, podplukovník 1710). Během volby Karla VI. římským císařem ve Frankfurtu nad Mohanem byl členem panovníkovy osobní stráže (1711). Poté se znovu aktivně zúčastnil bojů a v roce 1712 byl zraněn v bitvě u Denainu. Na konci války o španělské dědictví byl povýšen na plukovníka (1714) a poté se zúčastnil války proti Turkům. Jako velitel brigády se vyznamenal při obléhání Bělehradu (1717) a byl osobním účastníkem uzavření míru v Požarevaci (1718).
V roce 1723 byl povýšen na generálmajora, v roce 1727 dosáhl hodnosti generálního polního vachtmistra a v roce 1729 byl jmenován císařským tajným radou. Celá dvacátá léta strávil jako velitel v Neapoli. V roce 1733 byl povýšen na polního podmaršála a stal se zemským velitelem v Čechách se sídlem v Praze (1733–1746).[2][3] V roce 1735 dosáhl hodnosti polního zbrojmistra a za účast v další válce proti Turkům byl v roce 1739 povýšen do hraběcího stavu. Za války o rakouské dědictví musel dvakrát vydat Prahu (1741 Francouzům, 1744 Prusům) a s celou posádkou padl do zajetí.[4] Přesto mu Marie Terezie zachovala přízeň a v roce 1745 získal hodnost polního maršála.[5] Až do smrti zůstal formálně velitelem pražské posádky, zemské velitelství v Čechách ale musel v roce 1746 předat knížeti Lobkowiczovi.
Po otci byl dědicem panství Zahořany v severních Čechách. Na zámku v Zahořanech se častěji zdržoval až v pozdějším věku, kdy pobýval jako velitel v Praze. Správu panství v době jeho nepřítomnosti zajišťovala převážně manželka. Za éry Ogilvyů došlo k přestavbě zahořanského zámku do podoby honosné barokní rezidence.[6] S rakouskou šlechtičnou Ester Annou Reginou Welzovou z Ebersteinu (1692–1784) se oženil v roce 1713 a měl s ní deset dětí. Z pěti synů tři zemřeli v dětství, nejstarší Karel Josef (1713–1755) sloužil v armádě, byl císařským komořím a posledním potomkem této linie Ogilvyů. Dcery se provdaly do významných šlechtických rodin. Nejstarší Marie Terezie (1718–1775) byla manželkou hraběte Jana Adolfa z Kounic, Anna Markéta (1725–1810) se provdala za hraběte Prokopa Krakovského z Kolovrat, nejvyššího zemského sudího v Čechách. Nejmladší dcera Vilemína (1728–1804) měla za manželka polního maršála hraběte Leopolda Pálffy-Dauna (1716–1773). Ester Anna Regina Ogilvy byla majitelkou Zahořan ještě dalších třicet let po manželově smrti, až v roce 1781 prodala panství za 140 000 zlatých dvorské komoře.
