D'abord spécialiste du kilomètre contre-la-montre (champion du monde en 1993 et 1994, champion olympique à Atlanta en 1996), il s'est ensuite tourné vers les épreuves de la vitesse, avec la même réussite : trois titres mondiaux individuels en 1996, 1997, 1998, cinq par équipes, de 1997 à 2001 et un titre olympique par équipes en 2000. Il décroche également un troisième titre olympique sur le keirin à Sydney.
Après une médaille d'or à Atlanta au kilomètre en 1996, Florian Rousseau abandonne l'épreuve du kilomètre pour se consacrer exclusivement à la vitesse individuelle. Entraîné par Gérard Quintyn, gagne les championnats du monde de 1996 à 1998.
À partir d'avril 2018, il fait partie de la commission des athlètes, une instance de dix-huit sportifs présidée par Martin Fourcade travaillant à la préparation concrète des Jeux olympiques et paralympiques de 2024[2].
Dans sa ville natale de Patay la salle de sport polyvalente est nommée en honneur Stade Florian Rousseau[3].