Berg hadde flere viktige diplomatiske oppdrag i årene 1846-1849, blant annet i Wien og Berlin og ble i 1849 utnevnt til greve i Østerrike. I 1854 ble han utnevnt til generalguvernør i Estland og overtok samme post i Storfyrstedømmet Finland i 1855 under de urolige årene rundt Krimkrigen. Hans innblanding i den finske regjeringens saker provoserte finnene. Berg støttet liberalisering av det finske næringslivet og la seg ut med finlandssvenske embetsmenn da han tok parti for de finsktalende i landets språkstrid. Etter å ha havnet i konflikt med Aleksandr Armfelt ble han avsatt av tsaren i 1861.