Smith edusti suurimman osan ammattilaisurastaan lontoolaisseura Arsenalia, jonne hän siirtyi vuonna 1987. Tätä ennen hän pelasi viiden vuoden ajan, vuodesta 1982, Leicester Cityssä. Hän oli Arsenal-vuosinaan voittamassa kahta Englannin mestaruutta, kausina 1988–1989 ja 1990–1991, joina hän oli myös silloisen Englannin 1. divisioonan paras maalintekijä. Ensiksi mainitulla kaudella hän teki 23 ja jälkimmäisellä 22 liigamaalia. Lisäksi Smith oli voittamassa FA Cupia vuonna 1993 ja Euroopan cup-voittajien cupia vuonna 1994. Hän teki italialaisseura Parmaa vastaan pelatun, 1–0 päättyneen loppuottelun ainoan maalin.[1][2]
Smith lopetti pelaajauransa vuonna 1995, 32-vuotiaana, polvivamman vuoksi.[3] Hän edusti Arsenalia kahdeksan vuoden aikana 347:ssä ottelussa, joissa hän teki 115 maalia.[1]Englannin A-maajoukkueessa Smith pelasi 13 ottelua, ensimmäisen kerran vuonna 1988, ja teki kaksi maalia.[4] Hän kuului Englannin joukkueeseen jalkapallon Euroopan-mestaruuskilpailuissa 1992.[5]
Pelaajauransa jälkeen Smith on toiminut muun muassa The Daily Telegraph -lehden kolumnistina[6] ja television Sky Sportsin jalkapallokommentaattorina. Hän on ollut kommentaattorina myös EA SportsinFIFA-videopeleissä.[7]