Han spilte for Strømmen før han ble trener. Han kom til Strømmen fra Sogndal Fotball. Han kom til Sogndal fra Stabæk, som han signerte en 3½ års kontrakt med 20. august 2007,[3] men han tilbragte deler av denne tiden på utleie hos Start.
Olsen kom til Ham-Kam foran 2002-sesongen, og ble året etter toppskårer i klubben, da laget rykket opp til Eliteserien i fotball. Han hadde ikke like stor suksess etter opprykket, og slet med å skåre mål, selv om han spilte de fleste kampene på topp sammen med Geir Frigård. Vårsesongen 2005 gikk heller ikke bra, med bare ett mål. Men da Ham-Kam kjøpte Markus Ringberg utviklet de to spissene et godt samarbeid, som for Olsens del resulterte i syv mål i løpet av høstsesongen. Med åtte mål ble han igjen lagets toppskårer, og han ble også kåret til årets spiller av lagets supportere.
Etter den positive høstsesongen i 2005 hvor han ble klubbens toppscorer med åtte mål ble Espen Olsen den største overraskelsen da Åge Hareide tok ut troppen til landslagets årlige januar-tur. Olsen hadde aldri tidligere spilt landslagsfotball, heller ikke på aldersbestemt nivå. Laget dro til California i USA for å møte Mexico og USA i to treningskamper. Han fikk spille i begge kampene, men klarte ikke å utmerke seg nevneverdig. Etter sesongen ble han også kåret til Ham-Kams beste spiller på klubbens hjemmeside.
Referanser
^FBref, FBref spiller-ID 874e7eb2[Hentet fra Wikidata]