Wykształcenie odebrał w West Monmouth School w Pontypool oraz w Oriel College na Uniwersytecie w Oksfordzie. Następnie wykładał historię na Ebbw Vale College of Further Education. W 15 roku życia wstąpił do Partii Pracy. Od 1973 do 1979 był członkiem rady Torfaen. W latach 1976–1986 był przewodniczącym komitetu finansów tejże rady. W 1987 został wybrany do Izby Gmin jako reprezentant okręgu Torfaen. Był głównym mówcą opozycji ds. zagranicznych oraz marynarki wojennej.
Po dojściu Partii Pracy do władzy Murphy był ministrem stanu ds. rozwoju politycznego w Ministerstwie ds. Irlandii Północnej i brał udział w negocjacjach zakończonych porozumieniem wielkopiątkowym. 28 lipca 1999 został członkiem gabinetu jako minister ds. Walii. Od 24 października 2002 do 5 maja 2005 był ministrem ds. Irlandii Północnej. Po odejściu z gabinetu został przewodniczącym parlamentarnej komisji ds. wywiadu i bezpieczeństwa. Do brytyjskiego gabinetu powrócił w okresie urzędowania Gordona Browna w 2008 r., ponownie na stanowisko ministra ds. Walii i piastował je do 5 czerwca 2009.
