Kungen utsåg honom 1843 till justitiestatsminister, men det var med stor ovilja han tillträdde posten. När Oscar I blev kung året därpå, avgick Gyllenhaal och återgick till Göta hovrätt som president. Han ansågs alltför konservativ för politikerbanan, men uppträdde dock i riksdagarna 1850–51 som lantmarskalk utnämnd av Oscar I, som bad honom stoppa en avveckling av fyrståndsriksdagen och införande av en parlamentarisk mer demokratiskt sammansatt riksdag, vilket han trots ålderskrämpor lyckades med. Orsaken till Oscar I:s omsvängning från liberalism till en mer konservativ inställning var de oroligheter i hela Europa som följde på 1848 års revolutionära händelser i Frankrike.