Krog var prestesønn, og ble kadett ved Krigsskolen i 1801. Han tjenestegjorde i Akershus nasjonale infanteriregiment fra 1805 til 1809, med ett års permisjon 1807–1808, da han arbeidet i Islands kystoppmåling. Fra 1809 underviste han ved Krigsskolen, fra 1817 var han skolens sjef. Han var adjutant hos kong Karl II i 1815.
Fra 1821 var han konstituert som statsråd og fra 1822 var han sjef for Armédepartementet. Han var i perioder også sjef for Marinedepartementet og Revisjonsdepartementet. Krog var førstestatsråd i nitten år, fra 1836–1855. Det meste av denne tiden var han underordnet en stattholder. Bare i perioden 1840–1841 var han alene rikets fremste mann.
Per Nordenvall: Kungliga Serafimerorden 1748–1998, Stockholm 1998, side 262–263, med fargefoto av hans ridderplate med våpenskjold som henger i Riddarholmskyrkan, Stockholm.
