Sampaio begyndte sin politiske karriere som jurastuderende ved Universidade de Lisboa. Han var involveret i studenteroprørene mod det fascistiske regime og var 1960-1961 leder af Lissabons studenterbevægelse. Som nyuddannet påbegyndte han i 1961 en karriere som advokat, og var ofte forsvarer for politiske fanger. Efter nellikerevolutionen i april 1974 grundlagde han Movimento de Esquerda Socialista (portugisisk: Venstresocialistisk Bevægelse), men forlod projektet efter kort tid. I 1978 meldte han sig ind i Partido Socialiste, og blev valgt til landets parlament, Assembleia da República, allerede året efter. Fra 1979 til 1984 var han medlem af Den Europæiske Menneskerettighedskommission. Fra 1986 til 1987 var han sit partis gruppeformand i parlamentet. Fra 1989 til 1995 var han borgmester i Lissabon.
I 1995 offentliggjorde Jorge Sampaio, at han var kandidat til præsidentvalget det følgende år. Han vandt valgets første runde 14. januar 1996 og slog dermed den socialdemokratiske kandidat Aníbal Cavaco Silva. Han blev taget i ed som præsident 9. marts samme år, og blev genvalgt 14. januar2001. Som præsident havde Sampaio fokus på sociale og kulturelle forhold. Han afviste i 2004 at udskrive nyvalg efter at José Manuel Barroso var trådt tilbage. Afvisningen mødte voldsomme protester fra alle venstreorienteredepartier og betød, at Eduardo Ferro Rodrigues trådte tilbage som formand for Partido Socialiste. Sampio begrundede sin beslutning med, at det var nødvendigt at sikre politisk stabilitet i landet på et tidspunkt, hvor det stod over for økonomisk recession. Han udpegede Pedro Santana Lopes som ny premierminister. Men efter blot fire måneder konkluderede Sampio, at den nye regering ikke sikrede stabilitet, men snarere det modsatte. Han udskrev derfor nyvalg til afholdelse i februar 2005. 24. februar 2005 udpegede han José Sócrates som ny statsminister. Selv trådte han tilbage som præsident 9. marts 2006, og blev efterfulgt af hans modkandidat fra 1996, Aníbal Cavaco Silva.
I maj 2006 blev han af FN's generalsekretær udpeget som den første Særlige Udsending vedrørende kampen mod tuberkulose. I april 2007 blev han af den nuværende FN-generalsekretær Ban Ki-moon udpeget som Høje Repræsentant til Alliance of Civilisations.