Olimb spielte während seiner Juniorenzeit für Manglerud Star. Im Alter von 16 Jahren wechselte er 2005 schließlich zum norwegischen Rekordmeister Vålerenga Oslo, mit dem er 2006 auf Anhieb den Meistertitel gewann. Parallel absolvierte er in seinen zwei Jahren bei Vålerenga auch einige Einsätze für die zweite Mannschaft des Klubs. Im Sommer 2008 wechselte der Stürmer erneut den Klub. Zwei Jahre lang lief er für die Frisk Tigers in der GET-ligaen auf, jedoch ohne weitere Erfolge zu feiern.
Zur Saison 2010/11 wechselte der Norweger schließlich ins Ausland. Mit Leksands IF war er zwei Spielzeiten in der zweitklassigen schwedischen Allsvenskan aktiv. Im Sommer 2013 wechselte er vom schwedischen Klub BIK Karlskoga, wo er die Saison 2012/13 verbracht hatte, nach Deutschland zur Düsseldorfer EG. Bei der DEG stand er spätestens ab 2014 sinnbildlich für den Aufschwung des Klubs. In insgesamt 159 Partien gelangen ihm 131 Scorerpunkte (44 Tore, 87 Vorlagen). Im Verlauf des Spieljahres 2014/15 erreichte er mit seinem Team das Playoff-Halbfinale, in der Saison 2015/16 das Viertelfinale. Zudem bestritt er für die DEG sechs Spiele in der Champions Hockey League. Zum Spieljahr 2016/17 wechselte er zum Linköping HC nach Schweden in die Svenska Hockeyligan (SHL), auch weil er dort mit seinem Bruder Mathis zusammenspielen konnte. Für das Team aus Südschweden absolvierte Olimb exakt 100 Partien, in denen er auf 58 Scorerpunkte kam.[1]
Wie bereits von 2013 bis 2016, stand Olimb ab der Saison 2018/19 beim deutschen Erstligisten Düsseldorfer EG unter Vertrag.[2][3] Im Jahr 2018 erhielt er den Gullpucken als Norwegens Eishockeyspieler des Jahres. Nach dem Ablauf seines Dreijahres-Vertrages unterzeichnete Olimb im Mai 2021 beim Ligakonkurrenten Schwenninger Wild Wings.[4]
(Legende zur Spielerstatistik: Sp oder GP = absolvierte Spiele; T oder G = erzielte Tore; V oder A = erzielte Assists; Pkt oder Pts = erzielte Scorerpunkte; SM oder PIM = erhaltene Strafminuten; +/− = Plus/Minus-Bilanz; PP = erzielte Überzahltore; SH = erzielte Unterzahltore; GW = erzielte Siegtore; 1Play-downs/Relegation; Kursiv: Statistik nicht vollständig)