Han var ansatt i Noregs fiskarlag fra 1947; først som reisesekretær og fra 1965 som fylkessekretær. Fra 1972 var han fiskerisjef.[1] Han var også fylkesleder i Arbeiderpartiet, bystyremedlem i Bodø og styreformann for avisen Nordlands Framtid.[2]
Olsen var andre vararepresentant fra Nordland til Stortinget i perioden 1961 til 1965. Han har i tillegg også hatt andre verv som varamedlem i styret for «Olje/fisk-fondet» i perioden 1980 til 1983, og medlem av samme styre fra 1984 til 1987. Han ledet i 1971-72 utvalget som utredet konsesjonsordninger i fiske (NOU 1972:24).[3]