Verheugen studeerde geschiedenis, sociologie en politiek in Keulen en Bonn.
Na zijn afstuderen was hij werkzaam op diverse ministeries, meestal verantwoordelijk voor informatievoorziening of reputatiebehartiging.
Van 1978 tot 1982 was hij secretaris-generaal van de FDP.
Van 1983 tot 1999 was hij voor de SPD lid van de Bondsdag, het Duitse parlement. Gedurende korte tijd (1998-1999) was hij staatssecretaris in het Duitse ministerie van Buitenlandse Zaken onder minister Joschka Fischer.
Europese Commissie
Tussen 1999 en 2010 was Verheugen lid van de Europese Commissie. Van 1999 tot november 2004 was hij daar verantwoordelijk voor de uitbreiding van de EU. De toetreding van 10 nieuwe landen op 1 mei2004 was de kroon op zijn werk.
Op 6 oktober 2004 presenteerde hij het rapport dat concludeerde dat toetreding van Turkije tot de EU mogelijk gemaakt moet worden.
Vanaf 18 november 2004 tot 2010 was hij Europees commissaris voor Industrie- en Ondernemingsbeleid.
In een vraaggesprek met de Süddeutsche Zeitung begin oktober 2006 haalde Verheugen hard uit naar de ambtenaren van de Europese Commissie. Hij beschuldigde de ambtenaren van machtsmisbruik en beklaagde zich erover dat de belangrijkste politieke taak van de Europees commissaris het controleren van de ambtenaren was geworden.