Il entre au gouvernement fédéral en comme ministre fédéral des Expulsés. Benjamin du cabinet, il le quitte deux ans plus tard avec l'arrivée au pouvoir de Ludwig Erhard. Il est choisi en comme président du groupe FDP au Bundestag, une fonction qu'il exerce jusqu'en . Son mandat de 23 ans sur sept législatures est un record pour le groupe libéral et l'assemblée parlementaire. Il prend sa retraite en .
Une fois passé en Allemagne de l'Ouest, il adhère au Parti libéral-démocrate (FDP). En 1954, il est élu président des Jeunes Démocrates(de) (JD, mouvement de jeunesse du FDP) et vice-président du FDP de Hesse, et entre alors au comité directeur fédéral du parti. Il quitte la présidence des JD au bout de trois ans.
Il est désigné vice-président fédéral du Parti libéral en 1964, puis président de la fédération régionale de Hesse trois ans plus tard. En , il se rend avec Herbert Wehner, vice-président fédéral du Parti social-démocrate d'Allemagne (SPD), à une réunion secrète avec le secrétaire général du Parti socialiste unifié d'Allemagne (SED, le parti unique de la République démocratique allemande), Erich Honecker, afin de traiter des questions humanitaires dans les relations intra-allemandes. Il quitte la présidence régionale du FDP au bout de dix ans, puis renonce à sa vice-présidence fédérale en 1988.
Élu local
Il devient membre de l'assemblée municipale de Dresde en 1946, puis est élu en 1954 député régional au Landtag de Hesse. Il est alors désigné coordinateur du groupe parlementaire libéral. Il entre deux ans plus tard à l'assemblée municipale de Francfort-sur-le-Main, où il prend la présidence des élus FDP. Il démissionne du Parlement régional en 1957, et met fin à son mandat local en 1961. Il le retrouve trois ans plus tard, reprenant la tête du groupe municipal libéral jusqu'en 1968. Sa carrière locale prend fin en 1972.
Avec un mandat de vingt-deux ans et onze mois, il détient le record absolu de longévité, que ce soit à la présidence du groupe libéral-démocrate ou d'un groupe parlementaire au Bundestag. Il achève son ultime mandat en 1994, puis se retire de la vie politique. Il reste célèbre pour son discours du , à l'occasion de la motion de censure constructive déposée par Helmut Schmidt et dont l'adoption a marqué la fin de la coalition sociale-libérale fédérale et l'arrivée au pouvoir du chrétien-démocrate Helmut Kohl.
