Guldvog ble ansatt i Sosial- og helsedirektoratet i 2002, først som divisjonsdirektør i divisjon for helse- og sosialtjenester og fra 2004 som assisterende direktør og fast stedfortreder for helsedirektøren. Han var også konstituert direktør fra 10. mars 2011 til 10. juli samme år og fra 26. oktober 2012 til han ble utnevnt i embedet 14. desember. I desember 2018 fikk han fornyet åremål for seks år, frem til 2024.[2]
Guldvog er utdannet cand.med. ved Universitetet i Oslo fra 1985 med turnustjeneste i Kristiansund og Surnadal, og dr.med. fra 1993 med avhandlingen Epilepsy surgery in Norway. Guldvog deltok på AFF Solstrands topplederprogram i 2003–2004.
Fra 2005 har han hatt stilling som professor II i sosialmedisin ved Universitetet i Bergen. Fra 1993 til 2001 var han instituttsjef ved Stiftelse for helsetjenesteforskning (HELTEF). I perioden 1989–1992 var han forsker og senere forskningsleder ved Folkehelseinstituttet. Som forsker har han publisert innenfor helsetjenesteforskning, kvalitet i helsetjenesten, nevrologi og skade- og ulykkesforskning. Han har bred erfaring fra helsetjenesten, og har arbeidet som fastlege, sykehjemslege og lege i sykehus.
