Ukończył studia z zakresu prawa i ekonomii na Uniwersytecie w Tybindze. W 1978 i w 1982 zdał państwowe egzaminy prawnicze I i II stopnia. Pracował jako asystent na macierzystej uczelni, następnie od 1982 do 2005 był zatrudniony jako prawnik (a od 1988 również jako wspólnik) w kancelarii adwokackiej zajmującej się audytem i doradztwem podatkowym.
Zaangażował się w działalność polityczną w ramach Unii Chrześcijańsko-Demokratycznej i jej organizacji młodzieżowej Junge Union. Kierował strukturami młodzieżówki w Badenii-Wirtembergii (1983–1989). Zasiadał w radzie miejskiej Ditzingen (1980–1994), był przewodniczącym CDU w tym mieście, a także przewodniczącym partii w kraju związkowym (2005–2009). Od 1984 do 2010 nieprzerwanie sprawował mandat posła do landtagu. 21 kwietnia 2005 objął stanowisko premiera Badenii-Wirtembergii, które zajmował do 9 lutego 2010.
W 2009 został rekomendowany przez rząd niemiecki na komisarza europejskiego. W drugiej komisji José Manuela Barroso objął funkcję komisarza ds. energii[1]. Działalność jako komisarz rozpoczął 10 lutego 2010 (po zatwierdzeniu składu KE przez Parlament Europejski). Pozostał także w nowej Komisji Europejskiej, na czele której stanął Jean-Claude Juncker (od 1 listopada 2014). Powierzono mu w jej ramach stanowisko komisarza ds. gospodarki cyfrowej i społeczeństwa[2]. W październiku 2016 desygnowany na komisarza ds. budżetu i zasobów ludzkich w miejsce Kristaliny Georgiewej (od stycznia 2017)[3]. W KE zasiadał do końca kadencji w 2019.