Rafferty blev født ind i en arbejderfamilie i Paisley, Skotland.[1] Hans mor lærte ham både irske og skotske folkesang, da han var dreng. Senere blev han inspireret af the Beatles og Bob Dylan. Han blev en del af folkepop-gruppen the Humblebums (hvor også Billy Connolly var medlem) i 1969. Efter de gik i opløsning i 1971 udgav han sit første soloalbum, Can I Have My Money Back?. Rafferty og Joe Egan dannede gruppen Stealers Wheel i 1972 og producerede flere hits, hvoraf "Stuck in the Middle with You" og "Star" er blandt de mest kendte. I 1978 udgav han sit andet soloalbum, City to City, der inkluderede "Baker Street", som blev hans mest succesfulde sang.
Han døde den 4. januar 2011 i en alder af 63 af leversvigt.
