Purse wurde 1977 im Londoner Stadtteil Stepney geboren und besuchte die Cardinal Pole Catholic School in Hackney. In seiner Jugend war er Anhänger vom FC Millwall und sein Vorbild war Arsenal-Spieler Tony Adams. Er spielte in derselben „Sunday-League“ wie Lee Bowyer, bekam Angebote vom FC Arsenal und Tottenham Hotspur, die er allerdings ablehnte, um seinen Schulabschluss zu machen. 1994 unterschrieb er mit siebzehn Jahren seinen ersten Profivertrag bei Leyton Orient und debütierte drei Tage später. Nach einer kurzen Leihfrist in Finnland bei Vasa IFK, wechselte er 1996 für 100.000 Pfund Sterling zu Oxford United.
Nachdem er 59 Ligaspiele in achtzehn Monaten absolviert hatte, wechselte er im Februar 1998 zu Birmingham City. Dort hatte er einige beachtliche Erfolge, wie zum Beispiel das Erreichen des Finales im League Cup 2001. Gegen den FC Liverpool lag man nach 30 Minuten durch ein Tor von Robbie Fowler zurück, bis Purse selbst in der Nachspielzeit das 1:1 erzielte und seine Mannschaft damit bis ins Elfmeterschießen rettete. Auch im Elfmeterschießen war auf ihn Verlass, trotzdem ging der League Cup am Ende durch ein 5:4 an Liverpool.[1] Mit Birmingham gelang ihm auch der Aufstieg in die Premier League in der Saison 2002/03. Nach über 160 Ligaspiele für die „Blues“, wechselte er im Sommer 2004 für 750.000 Pfund zu West Bromwich Albion.[2]
Nach nur einer Saison und 22 Ligaspielen für West Brom, unterschrieb er im Juli 2005 einen Vertrag bei Cardiff City und wurde gleich zum Kapitän bestimmt.[3] Durch seine kämpferische Einstellung hatte er ein hohes Ansehen bei den Fans und bildete mit Glenn Loovens eine stabile Innenverteidigung. Im Juli 2007 machte er alle Gerüchte und Spekulationen zunichte, in dem er seinen auslaufenden Vertrag um ein weiteres Jahr verlängerte.[4] Am 28. August 2007 holte er sich beim League-Cup-Spiel gegen Leyton Orient einen Knorpelschaden am Knie.[5] Nach drei bis vier Wochen erwarteter Zwangspause, erlitt er eine Infektion am frisch operierten Knie und fiel deshalb über einen längeren Zeitraum aus. Erst im Oktober gab er sein Comeback gegen die Wolverhampton Wanderers.[6] In der Saison 2007/08 wurde Purse in der Innenverteidigung durch Roger Johnson ersetzt und musste die meisten Spiele auf der Bank verbringen. Doch nachdem Glenn Loovens im August 2008 an Celtic Glasgow verkauft worden war, hatte er seinen Stammplatz wieder zurück. Doch drei Monate später nahm der UngarGábor Gyepes, da er bei der 1:2-Niederlage gegen Plymouth Argyle keine gute Partie spielte.[7] Purse konterte darauf mit Kritik gegenüber seinem Trainer und sagte, er habe es nicht verdient, auf der Bank zu sitzen.[8] Im Januar 2009 gab er bekannt, den Verein Richtung Norwich verlassen zu wollen,[9] doch ein Wechsel in der Wintertransferperiode zu Norwich City kam nicht zustande.[10] Am Ende der Saison wurde Purse kein neuer Vertrag angeboten und somit verließ er im Sommer 2009 den Verein.[11]
Zur Saison 2009/10 kam er bei Sheffield Wednesday unter und wurde dort ebenfalls zum Kapitän gewählt.[12] Sein Debüt bestritt er am 1. Spieltag beim 2:2-Unentschieden gegen den FC Barnsley. Sein erstes Tor folgte am 17. Oktober beim 2:0-Sieg über Coventry City.[13] Dort kam er regelmäßig zum Einsatz, doch im Januar 2011 wurde sein Vertrag im beidseitigen Einvernehmen aufgelöst.[14]
Schon einen Tag nach der Vertragsauflösung unterzeichnete er einen Vertrag bei seinem Lieblingsverein FC Millwall.[15] Zwei Tage später absolvierte er bei der 2:4-Niederlage gegen Leicester City sein erstes Spiel im Millwall-Trikot.[16] Beim 4:0-Sieg am 23. April über Preston North End kam er zu seinem ersten Saisontor.[17]
Nachdem er zu Beginn der Saison 2011/12 keine Chance auf einen Stammplatz hatte, wurde Purse daher am 21. Oktober für einen Monat an Yeovil Town verliehen.[18] In diesem Monat absolvierte er fünf Ligaspiele, Trainer Terry Skiverton wünschte eine Verlängerung der Leihfrist.[19] Da diese nicht folgte, wurde Purse im November abermals verliehen. Dieses Mal bis zum Januar 2012 an Plymouth Argyle, mit der Möglichkeit auf einen achtzehnmonatigen Vertrag während das Wintertransferfenster geöffnet ist.[20][21]
Am 5. Januar wurde diese Option auch gezogen und Purse unterschrieb einen Vertrag bis zum Ende der Saison 2011/12.[22] Nachdem er für die Saison 2012/13 zum Kapitän gewählt wurde und im Dezember 2012 plötzlich auf der Transferliste stand, um dem Verein einige Neuverpflichtungen für die Rückrunde zu finanzieren, wechselte er im Januar 2013 zu Port Vale.[23]
In seinem Debütspiel für Port Vale wurde er zum „Man of the Match“ gewählt und absolvierte bis zum Saisonende 17 Ligaspiele für den Verein. Trotz seiner guten Leistungen entschied man sich aufgrund seines hohen Alters gegen eine Vertragsverlängerung.[24]
Nachdem Purse zwischendurch bei Northampton Town trainierte, unterschrieb er im August 2013 beim finnischen Verein IFK Mariehamn einen Vertrag bis zum Jahresende.[25]
Nach Auslauf des Vertrages im Dezember 2013, wurde er im Januar 2014 vom Amateurverein Chesham United verpflichtet. Mit Chesham erreichte er am Ende der Spielzeit einen Platz für die Play-offs, scheiterte aber dort mit 1:3 an St Albans City.[26]
