Rochereau studeerde na afronding van de middelbare school Rechten. In 1946 werd hij namens het departement Vendée gekozen voor de Franse Senaat. Rochereau bleef senator tot en met zijn aanstelling als minister van Landbouw in het kabinet van Michel Debré in 1959. Eind 1961 werd hij benoemd tot Europees Commissaris namens Frankrijk. Tussen 1962 en 1970 was hij verantwoordelijk voor de portefeuille Ontwikkelingssamenwerking.
Na zijn vertrek bij de Europese Gemeenschappen werd hij president van l'Association des Grands Ports Français. Deze functie bekleedde Rochereau tot en met 1986.