Van der Gröben werd geboren in Langheim als de zoon van grootgrondbezitter Georg von der Gröben en Eva von Mirbach. Hij studeerde rechten en politieke economie aan achtereenvolgens de universiteiten van Berlijn, Bonn en Göttingen. Na afronding van zijn studie werd hij in 1933 overheidsadviseur op het Ministerie van Voeding. Vier jaar later werd hij adviseur op het departement Kredieten en Samenwerking. Voor de Tweede Wereldoorlog was Von der Gröben een reservist in het leger. Hij werd uiteindelijk eerste luitenant.
Na de Tweede Wereldoorlog kreeg Von der Gröben een aanstelling bij het ministerie van Financiën van Nedersaksen. De federale minister van Economische Zaken, Ludwig Erhard, besloot Von der Gröben aan te stellen als vertegenwoordiger bij het Schumanplan. Het plan moest de verhoudingen tussen Duitsland en Frankrijk verbeteren. Vanaf 1953 vertegenwoordigde Von der Gröben Duitsland in het coördinatiecomité van de Europese Gemeenschap voor Kolen en Staal.
Von der Gröben wordt gezien als een van de 'Founding Fathers' van de Europese Unie. Hij werkte mee aan het Spaak-rapport van Paul-Henri Spaak. Dit rapport leidde tot de ondertekening van het Verdrag van Rome en de totstandkoming van de Europese Economische Gemeenschap in 1958. Konrad Adenauer benoemde Von der Gröben tot Europees commissaris in de Commissie van Walter Hallstein. Hij kreeg de portefeuille Concurrentiezaken. Von der Gröben stelde wetgeving op om kartelvorming te voorkomen en te bestraffen. Von der Gröben bleef Europees commissaris van Concurrentiezaken in de tweede commissie van Hallstein (1962-67) en de commissie van Jean Rey (1967-70). Na zijn vertrek uit de Europese politiek in 1970 werd hij adviseur van de CDU op het gebied van Europa. Daarnaast was hij werkzaam als wetenschapper en journalist. In 1967 ontving Von der Gröben een eredoctoraat van de Universiteit van Frankfurt.
Von der Gröben trouwde in 1934 met Gunhilde von Rosenberg en het echtpaar kreeg drie kinderen. Hij overleed in 2005 in Rheinbach.
.svg){kind=small}
