Potomek hugenockiej rodziny, jest synem Ulricha (generalnego inspektora Bundeswehry) i stryjecznym bratem Lothara (ostatniego premiera NRD)[1]. Do CDU wstąpił w 1971 jeszcze jako uczeń.
Studiował prawo i historię na Westfalskim Uniwersytecie Wilhelma w Münsterze oraz na Uniwersytecie Albrechta i Ludwika we Fryburgu (1974–1979). Do 1982 zdał państwowe egzaminy prawnicze I oraz II stopnia. W 1986 doktoryzował się w zakresie prawa na podstawie pracy pt. Die Praxis der informellen Verfahren beim Bundeskartellamt – Darstellung und rechtliche Würdigung eines verborgenen Vorgehens[2]. Od 1983 pracował w urzędzie nadburmistrza Berlina Zachodniego w czasie pełnienia tej funkcji przez Richarda von Weizsäckera i Eberharda Diepgena, później kierował jednym z departamentów Kancelarii Senatu Berlina i był rzecznikiem prasowym frakcji CDU.
W 1990 został powołany na stanowisko sekretarza stanu w ministerstwie kultury rządu krajowego Meklemburgii-Pomorza Przedniego. Od 1994 do 1998 był szefem kancelarii premiera tego rządu Berndta Seite. W 1999, po porażce CDU w wyborach krajowych w Meklemburgii-Pomorzu Przednim, przeszedł do pracy w rządzie Saksonii. Był kolejno szefem kancelarii premiera Kurta Biedenkopfa (1999–2001), ministrem finansów (2001–2002), ministrem sprawiedliwości (2002–2004) oraz ministrem spraw wewnętrznych (2004–2005). Od 2004 do 2005 zasiadał jednocześnie w landtagu Saksonii.
W powołanym w listopadzie 2005 pierwszym rządzieAngeli Merkel, tworzonym przez tzw. wielką koalicję (CDU/CSU i SPD), objął stanowisko ministra do zadań specjalnych i szefa Urzędu Kanclerza Federalnego. W 2009 po raz pierwszy uzyskał mandat posła do Bundestagu, z powodzeniem ubiegał się o reelekcję w wyborach w 2013 oraz 2017[3].
W zaprzysiężonym w październiku 2009 rządzie koalicyjnym CDU-FDP dotychczasowej kanclerz przeszedł na urząd ministra spraw wewnętrznych. W marcu 2011 został mianowany przez prezydenta Christiana Wulffa ministrem obrony, zastąpił zdymisjonowanego Karla-Theodora zu Guttenberga[4]. W grudniu 2013, po odnowieniu w kolejnej kadencji wielkiej koalicji i powołaniu trzeciego gabinetu Angeli Merkel, ponownie objął funkcję ministra spraw wewnętrznych. Pełnił ją do końca funkcjonowania tego rządu, tj. do marca 2018.
