Heltzen blev 1850 amtman i Aabenraa och 1869 stiftsamtman över Fyn. Han var en duglig och kraftfull personlighet och en av ledarna för de konservativa helstatsmännen. Åren 1856–1866 var Heltzen medlem av riksrådet och 1864 justitie- och kultusminister. Han verkade energiskt för samarbete med bondevännerna. Ministärens flertal önskade däremot förlikning med centern och framtvingade 1865 Heltzens fall, då denne gett sig in i ett olyckligt intrigspel och förgäves försökt använda Jules Hansen mot de nationalliberala.
