W czasach studenckich należał do organizacji FEM-L, powiązanej z komunistycznym ruchem MRPP[2] i opozycyjnej wobec dyktatury Nowego Państwa. W 1980 został członkiem centroprawicowej Partii Socjaldemokratycznej (PSD)[1].
W 1985 po raz pierwszy uzyskał mandat posła do Zgromadzenia Republiki. Z powodzeniem ubiegał się o reelekcję w kolejnych wyborach w 1987, 1991, 1995, 1999 i 2002, zasiadając w portugalskim parlamencie IV, V, VI, VII, VIII i IX kadencji[3].
Również od 1985 obejmował funkcje rządowe w kolejnych gabinetach, którymi kierował Aníbal Cavaco Silva. Początkowo został sekretarzem stanu ds. wewnętrznych. W 1987 przeszedł na stanowisko sekretarza stanu ds. polityki i współpracy zagranicznej[1]. Z ramienia swojego rządu był zaangażowany w próby pokojowego rozwiązania wojny domowej w byłej portugalskiej kolonii Angoli[4]. W latach 1992–1995 sprawował urząd ministra spraw zagranicznych[5]. W 1995 PSD przeszła do opozycji, José Manuel Barroso przez rok stał na czele komisji spraw zagranicznych w Zgromadzeniu Republiki[1]. W 1999 został przewodniczącym Partii Socjaldemokratycznej, funkcję tę pełnił do 2004[5].
Kierowana przez niego PSD zwyciężyła w wyborach w 2002, zawiązując koalicję z Partią Ludową. 6 kwietnia 2002 José Manuel Barroso został nowym premierem, stając na czele XV rządu konstytucyjnego. Urząd ten sprawował do 17 lipca 2004[5][6]. Jego gabinet popierał interwencję w Iraku, prowadził restrykcyjną politykę gospodarczą, zmierzającą do ograniczenia deficytu budżetowego i zreformowania prawa pracy. Działania te nie spowodowały jednak szybkiego ożywienia gospodarki i zmniejszenia bezrobocia[4], przyczyniając się do spadku poparcia dla rządu i porażki Partii Socjaldemokratycznej w wyborach parlamentarnych w 2005.
Po zakończeniu drugiej kadencji José Manuel Barroso powrócił do pracy naukowej w tym jako profesor Universidade Católica Portuguesa i Uniwersytetu Genewskiego[9]. W lipcu 2016 został doradcą w londyńskim oddziale Goldman Sachs, zajmując się polityką banku wobec procesu opuszczenia Unii Europejskiej przez Wielką Brytanię[10]. Objęcie tego stanowiska tuż po upływie 18 miesięcy od odejścia z Komisji Europejskiej, chociaż będące zgodne z formalnymi wymogami dotyczącymi unikania konfliktu interesów, skłoniło europejskiego rzecznika praw obywatelskich do podjęcia inicjatywy na rzecz zaostrzenia zasad podejmowania pracy przez członków KE po zakończeniu kadencji[11].