Jacob Olesen kom til Viborg FF fra SønderjyskE i januar 2006[1]. I de første måneder af sæsonen 2006-07, var Olesen Viborg FFs topscorer med 5 mål, alle på hovedstød. Han fik en slem skade i venstre ankel i en oktober kamp mod Vejle BK[2], og var ude i resten af daværende sæson. I sæsonen 2007/08 var han tilbage på banen.
Kolding FC
I sommeren 2008 skiftede Olesen til Kolding FC på en 2½ årig aftale.[3] Han forlod dog klubben et halvt år senere, da han følte at han trængte til en pause fra fodbolden. Han fik derfor ophævet sin kontrakt med klubben i december 2008.[4]