Był synem szkockiegorobotnika. Urodził się w prowincjonalnym miasteczku niedaleko Glasgow i od najmłodszych lat musiał zmagać się z biedą. Początkowo łączył grę w piłkę z pracą fizyczną. Jako zawodnik najdłużej – przez dwanaście lat – występował w Dundee United, ale nigdy nie wzniósł się ponad poziom piłki krajowej. W wieku dwudziestu dziewięciu lat poważna kontuzja uniemożliwiła mu kontynuowanie kariery sportowej.
W szkockiej lidze rozegrał 250 meczów i strzelił 3 gole.
Kariera szkoleniowa
Po przedwczesnym zakończeniu kariery piłkarskiej rozpoczął pracę szkoleniową. Pod koniec lat 70. został etatowym pracownikiem Szkockiego Związku Piłki Nożnej – najpierw był trenerem reprezentacji U-18, z którą zdobył mistrzostwo Europy, potem U-21 oraz – w czasie Mundialu 1986 – asystentem selekcjonera kadry AAlexa Fergusona.
W 1986 roku związał się z klubem, któremu kibicował od dziecka – Rangers, gdzie również powoli pokonywał kolejne szczeble piłkarskiej hierarchii. Zaczynał jako asystent Graeme'a Sounessa. Po jego rezygnacji przez siedem lat był pierwszym szkoleniowcem; w tym czasie zdobył z klubem siedem tytułów mistrza kraju. Drużyna w rozgrywkach ligowych była niepokonana aż do 1998 roku, kiedy musiała oddać prymat Celticowi. Zgodnie z wcześniejszymi zapowiedziami, latem tego roku Smith pożegnał się z zespołem.
W 2004 roku po zdymisjonowaniu Bertiego Vogtsa ze stanowiska selekcjonera reprezentacji Szkocji to właśnie Smithowi zaproponowano budowę nowej kadry. Po przegranych eliminacjach do Mundialu 2006 rozpoczął przygotowania do kwalifikacji do Euro 2008. Szkoci pod jego prowadzeniem pokonali wicemistrzów świata Francuzów oraz Wyspy Owcze i Litwę. Zanotowali tylko jedną porażkę, z Ukrainą. Po meczach jesiennych Szkocja zajmowała w tabeli drugie miejsce, wyprzedzając m.in. mistrzów świata Włochów.
Jednak, kiedy z Rangers odszedł FrancuzPaul Le Guen Smith wyraził gotowość powrotu do klubu. Niedługo potem, w styczniu 2007 roku, zrezygnował z prowadzenia kadry i podpisał kontrakt z działaczami Rangers. W sezonie 2007–2008 doprowadził ten klub do finału Pucharu UEFA. Rok później Rangersi po czterech latach przerwy zdobyli mistrzostwo kraju. Po zdobyciu dwóch kolejnych tytułów mistrzowskich odszedł na emeryturę w dniu 15 maja2011.
Działalność zarządcza
W listopadzie 2012 roku, kilka miesięcy po bankructwie i degradacji Rangers do Scottish Third Division, dołączył do klubowego zarządu, gdzie do maja następnego roku pełnił rolę dyrektora niewykonawczego. Po wiosennych zmianach zastąpił odchodzącego Malcolma Murraya i został nowym prezesem klubu z Glasgow. Stanowisko piastował do 5 sierpnia 2013 roku.
