Nel 1968 iniziò la sua carriera politica che però non gli impedì di conseguire la laurea, nel 1972 con una tesi su Adorno e la Scuola di Francoforte presso l'Università di Pisa[4] (mentre non conseguì il diploma della Normale).
Continuava intanto la sua ascesa nel PCI, che lo portò nel 1979 ad entrare nel Comitato centrale del partito: per permettere il suo inserimento, venne abbassata di 3 anni l'età minima per entrare nel Comitato Centrale del PCI. Nello stesso anno fu nominato responsabile delle pagine culturali; vice-direttore di Rinascita; vice-responsabile della sezione stampa e propaganda e in ottobre responsabile del settore.
Dal 1980 al 1984 fu segretario regionale del PCI in Calabria, ed al termine del suo mandato entrò nella Direzione nazionale. Confermato in tutti i suoi incarichi, dal 1986 al 1988 fu condirettore de l'Unità. Favorevole alla "svolta della Bolognina", divenne dirigente di prestigio prima del Partito Democratico della Sinistra e poi dei Democratici di Sinistra, di cui guidò la principale corrente di sinistra, il cosiddetto Correntone.
L'attività parlamentare di Fabio Mussi iniziò nel 1992, allorché fu eletto deputato per la circoscrizione Pisa-Livorno-Lucca-Massa-Carrara con 14.213 voti di preferenza. Nel 1994 il suo seggio gli venne confermato con il 52,5% dei voti, mentre nel 1996 venne rieletto con il 61,5% dei consensi. Al termine delle elezioni politiche del 2001, in cui gli venne confermato il seggio alla Camera dei deputati, venne nominato dai colleghi parlamentari vicepresidente della Camera.
Nel 2007 si è candidato alla segreteria del partito, con la mozione "A sinistra. Per il socialismo europeo", in vista del 4º congresso dei DS "Una forza grande come il futuro" che si è tenuto tra il 19 e il 21 aprile a Firenze. Con la sua mozione ha raccolto il 15,04% dei voti degli iscritti, alle spalle di Piero Fassino che ha ottenuto il 75,64%. Al congresso il 20 aprile 2007, durante il suo intervento, ha ribadito "non con animo leggero" la volontà di non seguire il cammino intrapreso dalla maggioranza dei DS, bensì di impegnarsi nel voler costituire una nuova forza socialista, laica e di governo più a sinistra del Partito Democratico[5].
Proprio a seguito di questa sconfitta, si dimette dall'incarico di coordinatore nazionale di Sinistra Democratica. A lui succede l'ex segretario DS in SiciliaClaudio Fava[6]. Diviene successivamente presidente del coordinamento nazionale di SD[3]. Nel 2009 confluisce con il suo partito nel progetto di Sinistra Ecologia Libertà, partito nel quale ha ricoperto, dal 2010 al 2014, l'incarico di presidente dell'ufficio di presidenza nazionale. Dal 2014 è componente della Presidenza nazionale.
Mussi apre con la sua relazione introduttiva al congresso fondativo di Sinistra Italiana (Rimini, 17 febbraio 2017)
Nel 2017, con lo scioglimento di SEL e la sua confluenza in Sinistra Italiana come partito, partecipa alla sua fondazione e ne aderisce.