Innan han blev medlem i The Smiths hade Andy Rourke spelat gitarr och bas i flera funk- och rockband, ofta med sin skolkamrat John Maher (mer känd som Johnny Marr). När Marr och Morrissey bildade The Smiths så anlitades Rourke som basist efter bandets andra spelning, och blev kvar som bandets basist ända till slutet (förutom en kort period 1986 när Craig Gannon ersatte honom efter att han sparkats för att hans heroinmissbruk gjorde honom opålitlig).
Omedelbart efter att bandet splittrades spelade Rourke och The Smiths trummis Mike Joyce med Sinéad O'Connor – Rourke (men inte Joyce) spelar på albumet "I Do Not Want What I Haven't Got".
Paret var också rytmsektion på två av The Smiths-sångaren Morrisseys solosinglar, och Rourke komponerade musiken för två av Morrisseys låtar "Yes, I am Blind" och "Girl Least Likely To". Rourke har också spelat och spelat in med The Pretenders (några spår på 1994 års Last of the Independents), Killing Joke, Badly Drawn Boy, Aziz Ibrahim (tidigare i The Stone Roses), och ex-Oasis-gitarristen Bonehead (som "Moondog One").
