W 1979 zdał egzamin maturalny, po czym odbył dwuletnią służbę wojskową. Studiował germanistykę, politologię i socjologię na Uniwersytecie w Getyndze. Zdał państwowe egzaminy nauczycielskie. W latach 80. pracował jako nauczyciel w ramach kształcenia osób dorosłych. Członek związku zawodowego IG Metall oraz organizacji pracowniczej AWO[1].
W 1977 wstąpił do Socjaldemokratycznej Partii Niemiec. W latach 1990–2005 był posłem do landtagu Dolnej Saksonii. Zasiadał też w radzie powiatu Goslar (1987–1998) oraz radzie miasta Goslar (1991–1999). W latach 1998–1999 i 2002–2005 przewodniczył klubowi deputowanych SPD w landtagu[1]. W grudniu 1999 objął stanowisko premiera Dolnej Saksonii w miejsce Gerharda Glogowskiego, który ustąpił po roku urzędowania. Funkcję tę pełnił do końca kadencji, w marcu 2003 zastąpił go Christian Wulff z Unii Chrześcijańsko-Demokratycznej (CDU)[2].
W wyborach w 2005 po raz pierwszy uzyskał mandat deputowanego do Bundestagu. Od listopada 2005 do października 2009 był ministrem środowiska, ochrony przyrody i bezpieczeństwa reaktorów atomowych w pierwszym rządzieAngeli Merkel tworzonym przez koalicję CDU/CSU i SPD[1].
W 2009 utrzymał mandat poselski na kolejną kadencję[1]. Socjaldemokraci przeszli wówczas do opozycji wobec nowego gabinetu dotychczasowej kanclerz. 13 listopada 2009 Sigmar Gabriel zastąpił Franza Münteferinga na funkcji przewodniczącego federalnych struktur Socjaldemokratycznej Partii Niemiec[3], stając się tym samym liderem opozycji. W kampanii wyborczej w 2013 publicznie wzywał Zielonych do zawiązania porozumienia przeciwko Angeli Merkel[4].
Po wyborach, w których ponownie został wybrany do Bundestagu, doszło jednak do odnowienia po czterech latach koalicji chadeków i socjaldemokratów. W grudniu 2013 w trzecim gabinecie Angeli Merkel lider socjaldemokratów został wicekanclerzem oraz ministrem gospodarki i energii[1]. W styczniu 2017 przeszedł na urząd ministra spraw zagranicznych[5]. W marcu 2017 na funkcji przewodniczącego SPD zastąpił go Martin Schulz. W tym samym roku utrzymał mandat deputowanego na kolejną kadencję[6].