Karlsen var utdannet mekaniker med teknisk aftenskole i tillegg, og arbeidet ved Greåker Cellulosefabrik der han var formann i perioden 1930-1963.
Han ble valgt inn i Tune formannskap i 1925. Fra 1938 til 1971 var han ordfører i Tune,[3] med unntak av en fireårsperiode under andre verdenskrig. Han var også formann i Østfold fylkesting i flere perioder.
Karlsen var i den første stortingsperioden opprinnelig varamann, men rykket opp til fast plass da Anton Berge døde i 1951. I Stortinget satt Karlsen først i Landbrukskomiteen og deretter i Kommunalkomiteen.