Janssen lavorò coi suoi genitori fin da giovane, scavando la terra dei Paesi Bassi occidentali per costruire edifici. Si associò alla squadra di ciclismo della sua città, Delft, quando aveva 16 anni, e successivamente vinse 25 corse in due anni. Dopo una carriera dilettantistica nella quale vinse molte gare olandesi, passò al professionismo, venendo ingaggiato da una squadra francese, la Pelforth-Sauvage-Lejeune. Venne invitato al Giro dei Paesi Bassi, che a quei tempi era aperto ad amatori e a semi-professionisti.
Il suo talento fu subito notato e perciò il proprietario comandò al direttore sportivo della formazione di designarlo caposquadra. Janssen inizialmente era un velocista, ma si trasformò rapidamente in un "cacciatore" di corse di un giorno. Prese parte al suo primo Tour de France nel 1963: vinse una tappa, ma una caduta lo costrinse al ritiro. Nel 1964 vinse la Parigi-Nizza, poi due tappe al Tour de France e la maglia verde di leader della classifica a punti. Quell'anno divenne, inoltre, campione del mondo su strada nella gara disputata a Sallanches, in Francia. Conquistò di nuovo la maglia verde nel Tour de France 1965, mentre nel 1966 arrivò secondo nella classifica generale dietro a Lucien Aimar.
Nel 1968 si classificò terzo al Giro delle Fiandre e divenne il primo olandese nella storia a vincere il Tour de France. La corsa era, come l'anno precedente, per squadre nazionali invece che per squadre di club. Janssen attaccò in solitaria nel corso della 14ª tappa, quella dell'Alpe d'Huez, senza rispettare le decisioni del direttore sportivo della sua squadra, vinse e conquistò la maglia gialla, andando anche in testa alla classifica scalatori. Ottenne la vittoria finale con 38 secondi di vantaggio sul belga Herman Van Springel. Questo rimase il minor margine vincente fino al 1989, quando Greg LeMond vinse la Grande Boucle con soli 8 secondi di vantaggio su Laurent Fignon.
Dopo aver ottenuto alcune altre vittorie nelle stagioni successive, si ritirò dal professionismo nel 1973.