A Sorbonne-on jogból szerzett diplomát. Tanulmányokat folytatott a Párizsi Politikai Tanulmányok Intézetében, majd mérnöknek tanult. 1938-ban kezdett dolgozni a gazdasági, pénzügyi és iparügyi minisztériumban. 1940-ben súlyosan megsebesült a fronton. 1941-ben csatlakozott az ellenállási mozgalomhoz, a Libération-Nord hálózat tagja lett. 1945-ben szülővárosának polgármesterévé választották, 1983-ig állt a város élén.
1948-ban Robert Schuman második, majd Henri Queuille kormányában költségvetési államtitkár. 1950–52-ben a Ruhr-vidéket ellenőrző nemzetközi hatóság elnöke. 1952-től 1968-ig Seine-et-Oise szenátora. 1952-től az Európai Szén- és Acélközösség közgyűlésének tagja. 1957–58-ban haditengerészeti államtitkár Félix Gaillard kormányában. Val-de-Marne szenátusi képviselője 1968 és 1995 között. 1968-ban a szenátus elnökévé választották. Hivatalát 1992-ig megtartotta. 1958-tól 1977-ig az Európai Parlament képviselője, 1966 és 1969 között elnöke. 1969-ben Charles de Gaulle köztársasági elnök lemondott. Az alkotmány értelmében a szenátus elnöke, Poher töltötte be a köztársasági elnöki posztot a választásokig.
