Som ungdom gikk Levein på Inverkeithing High School, der han spilte på fotballaget sammen med den fremtidige skotske landslagsspilleren Gordon Durie. I hans tidlige fotballkarriere spilte han for Dalgety Bay, Leven Royals og Inverkeithing U16. Som 15-åring gav han imidlertid opp fotballkarrieren i ett år, og startet bare opp igjen da hans bror, som spilte for juniorlaget Lochore Welfare, inviterte ham til å trene der. Deretter signerte Levein for Lochore, og etter prøvespill for flere seniorlag sluttet han seg omsider til Cowdenbeath i 1981.[1]
Levein etablerte seg raskt på førstelaget på Central Park og ble etter det jaktet på av større klubber enn Cowdenbeath.
Hearts
I 1983 meldte Levein overgang til Heart of Midlothian for en overgangssum på £40 000 og ble snart fast på førstelaget til Hearts. Levein ble kåret til årets unge spiller i 1985, og i 1986 ble han den første spilleren til å motta denne utnevnelsen igjen. 1986 var den sesongen som Hearts jaktet på troféene både i ligaen og i cupen. I ligaen var de bare minutter fra å vinne tittelen, før mål innenfor de ti siste minuttene av sesongen av Albert Kidd gav Hearts deres første ligatap på 31 kamper. Det var nok til å fravriste Hearts ligaledelsen og gi ligamesterskapet til Celtic. Levein og hans lagkamerater tapte så 3-0 uken etterpå i den skotske cupfinalen for Aberdeen, som for øvrig ble ledet av Alex Ferguson.
1986 brakte med seg flere skuffelser for den unge Levein, da han pådro seg en alvorlig kneskade i en reservelagskamp mot Hibernian FC. Skaden kom til å forandre livet hans. Han slo opp igjen skaden i 1988, da han kollapset uten ball i en kamp mot Rangers og måtte tilbringe et nytt år utenfor fotballen. I 1997 ble han tvunget til å legge opp pga. kneskaden, etter å ha spilt 401 førstelagskamper for Hearts.
Det var ikke bare skader som forhindret Levein fra å spille i løpet av hans tid med Hearts, for han ble en gang gitt en tolv kamper lang suspensjon etter å ha slått og brekt nesen på lagkameraten Graeme Hogg under en treningskamp om sommeren mot Raith Rovers.
Skottland
Han fikk sin debut for Skottland i mars 1990, der de vant 1–0 mot regjerende verdensmester Argentinas landslag på Hampden Park, og han spilte godt nok til å få en plass i Skottlands spillerstall til Fotball-VM 1990. Levein fikk totalt 16 kamper for Skottlands landslag.
Trener- og managerkarriere
Etter at Levein ble tvunget til å legge opp som spiller, innehadde han flere trenerstillinger hos Hearts og Livingston. I november 1997 ble han utnevnt til manager for Cowdenbeath. Der snudde han et kjempende lag til å utfordre om opprykk. Cowdenbeath rykket opp i 2001, men Levein dro i desember 2000 for å ta over som manager for Hearts.
Hearts og Leicester City
Hans tid med ansvaret for Hearts var fylt av suksess, og han ledet laget til tredjeplass i SPL i to påfølgende sesonger, og på den måten spilte de også i Europa. Han var den første manageren til å lede Hearts til europacupspill i påfølgende sesonger siden 1960-tallet. Hans imponerende resultater i Skottland vakte interessen hos Leicester City.
Leicester utnevnte ham til manager den 19. oktober 2004.[2] Likevel gjorde den svake åpningen av 2005-2006-sesongen, som brakte Leicester City ned i nedrykkskampen i Championship, at Levein ble sparket som manager den 25. januar 2006.[3]
