Olsen startte zijn profcarrière bij Glostrup FK, maar verhuisde al snel naar Køge BK. Na 3,5 seizoenen bij Køge ging hij naar Brøndby IF, waar hij 6,5 seizoenen bleef. In 1991 vertrok hij naar het buitenland waar hij voor Trabzonspor, RFC Seraing en FC Basel speelde. In januari 1996 keerde hij terug naar Brøndby IF, waar hij zes maanden later zijn carrière afsloot.
Denemarken
Olsen speelde 84 interlands voor Denemarken in de periode 1986–1996. Onder leiding van de Duitse bondscoach Sepp Piontek maakte hij zijn debuut op 9 april 1986 in de vriendschappelijke wedstrijd tegen Bulgarije (3-0) in Sofia. Hij won met zijn vaderland het EK 1992 in Zweden, en was de aanvoerder van de ploeg bij dat toernooi. Denemarken was op het allerlaatste moment opgeroepen als vervanger van Joegoslavië, dat door de oorlog in eigen land door de UEFA werd uitgesloten van deelname.
Olsen startte in 1997 bij Brøndby IF als assistent-trainer, jeugdtrainer en trainer van het reserve-elftal, kort na zijn afscheid als actief voetballer. In januari 2003 maakte hij zijn debuut als hoofdtrainer bij Randers FC. Vier jaar later stapte hij over naar Odense BK, maar in september 2010 werd hij ontslagen. Van 2011 tot 2019 was Olsen de bondscoach van het Faeröers voetbalelftal. Met de eilandengroep behaalde hij zijn eerste overwinning na vijftien interlands: op 1 maart 2014 wonnen de Faeröer in een oefenduel met 4–1 van nieuwkomer Gibraltar. In het kwalificatietoernooi voor het Europees kampioenschap voetbal 2016 werden twee overwinningen geboekt, beide op oud-kampioen Griekenland. Op 28 oktober 2019 werd Olsen aangesteld als coach van het Deense Esbjerg fB. Hij verliet de club echter op 9 juni 2020 voortijdig.