Em 1955 filiou-se à União Democrata-Cristã, CDU. Alcançou a vice-presidência do grupo parlamentar cristão-democrata do Bundestag em 1972, cargo que ocupou até 1979. Em 1981 virou presidente da câmara de Berlim Oeste, e nessa função primeiro prefeito da cidade. Em 1984 se demitiu desse cargo para ser eleito presidente da República Federal Alemã. Em 23 de maio de 1984 foi eleito para ocupar a chefia do Estado. Ganhou muita reputação com o seu discurso por ocasião do 40.º aniversario da Segunda Guerra Mundial, em 8 de maio de 1985, e disse que o final da guerra, para a Alemanha, "não foi o dia de uma derrota, mas o dia da libertação". A 2 de Junho de 1989 sua mulher Marianne von Kretschmann foi agraciada com a Grã-Cruz da Ordem do Infante D. Henrique de Portugal[3] e a 19 de Junho de 1989 ele recebeu o Grande-Colar da mesma Ordem.[4] Em 1990 foi um dos protagonistas da reunificação das duas Alemanhas e o primeiro presidente da Alemanha unificada. Em 1994 abandonou a presidência ao concluir o seu segundo mandato e sucedeu-lhe Roman Herzog.
