Ogilvy var sønn av George Jacob Ogilvy, kommandant over BrünnsFestung Spielberg (tsjekkisk Špilberk). Han begynte sin militære løpebane i den russiske armeen, hvor han ble general i 1702. Den 3. desember1706 trådte han inn i den kursaksiske tjenesten som feltmarskalk og president for det indre krigsrådskollegiet.
De skotske etterkommerne av familien Ogilvy er idag beslektet med den britiske kongefamilien, idet The Honorable Sir Angus Ogilvy var gift med prinsesse Alexandra av Kent, en kusine av den britiske dronningen og av hertugen av Edinburgh.