Dopo le giovanili nell'Olimpia Lubiana, Novakovič gira tra squadre minori dell'Europa centro-settentrionale, tra le quali il SAK Klagenfurt e l'ASK Voitsberg. Nella stagione 2003-2004 approda al SV Mattersburg, nel campionato di calcioaustriaco, dove trova poco spazio ma si fa notare per i 2 gol nelle 6 partite di campionato giocate. Viene ingaggiato così nella stagione successiva dal LASK Linz, per poi passare nella stagione 2005-2006 al Liteks Loveč, nella massima serie del campionato bulgaro, nella quale realizza 19 gol in sole 27 partite. Con i bulgari disputa anche la sua prima gara in Coppa UEFA, esordendo nel 2-2 casalingo contro il Genk.
Colonia
La svolta in carriera arriva però nel 2006, quando viene ingaggiato dal Colonia, club militante nella seconda serie del campionato tedesco. Con la maglia biancorossa diventa capocannoniere della 2. Fußball-Bundesliga 2007-2008 con 20 reti e trascina la squadra alla promozione in Bundesliga.
In giro per il mondo
Nel 2012, in seguito alla nuova retrocessione del Colonia, Novakovič si trasferisce in prestito all'Omiya Ardija, club militante nella massima divisione del campionato giapponese, nel 2014 va a giocare nello Shimizu S-Pulse (dopo la rescissione col il club tedesco[1]) e nel 2015 nel Nagoya Grampus sempre nella massima serie giapponese.
A febbraio del 2016 torna in patria per giocare nel Maribor. Con il club chiude la sua carriera da calciatore, non prima di vincere il campionato 2016-2017[2], realizzando tra l'altro 11 gol.
Nazionale
Inizia la sua carriera nella nazionale slovena nel 2006, parallelamente all'approdo al Colonia. Dopo aver disputato oltre 50 partite, nel 2012 decide di abbandonarla, per concentrarsi meglio sul club in cui milita. Nel 2013 decide di ritornare a giocare per i propri colori. L'11 ottobre 2013, inoltre, segna una tripletta nella partita contro la Norvegia. L'ultima gara l'ha disputata nel 2017 contro Malta andando anche in rete.
Attualmente è al secondo posto come miglior marcatore sloveno in nazionale, alle spalle del solo Zlatko Zahovič (4 gol di differenza tra i due).
Statistiche
Cronologia presenze e reti in nazionale
Cronologia completa delle presenze e delle reti in nazionale ― Slovenia