Axel von Rosen ägnade sig först åt krigs- och hovtjänst samt deltog i Gustav III:s ryska krig. År 1805 blev han vice landshövding i Värmlands län för att 1808 bli ordinarie. Som sådan verkade han för proviantering av trupperna i kriget mot Norge. Han arresterades vid statskuppen 1809 och förflyttades samma år till landshövdingeposten i Göteborgs och Bohus län. Där blev det nu hans sak att genom hemliga förhandlingar upprätthålla goda förbindelser med Storbritannien trots Sveriges anslutning till kontinentalsystemet efter freden i Fredrikshamn. Denna uppgift försvårades året därpå genom den påtvingade krigsförklaringen mot England, men han utförde sitt värv med största skicklighet ända till freden 1813. Efter Kielfreden 1814 utnämndes han till guvernör över Trondheims län, vilket han genom norrmännens resning aldrig kom att tillträda, men utsågs i stället i augusti 1814 till en av guvernörerna över den av svenskarna ockuperade sydliga delen av Norge. Vid årets slut återvände han till landshövdingeposten i Göteborg. von Rosen hade goda förbindelser med Karl XIV Johan. von Rosen blev 1809 Kungliga Vetenskaps- och Vitterhets-Samhället i Göteborg. År 1830 fick han generallöjtnantsnamn, heder och värdighet och blev ledamot av Kungliga Krigsvetenskapsakademien samma år. När koleraepidemin 1834 nådde Sverige begav han sig till Göteborg från Stockholm och deltog i det praktiska nödhjälpsarbetet men avled själv samma höst i sjukdomen.