A Brandenburgi választófejedelemség a német államok között elsőként kezdett jelentős tengerjáró hadiflotta építésébe. A brandenburgi flotta legfényesebb időszaka pedig Frigyes Vilmos választófejedelem (1640–1688) uralkodására tehető, 1680-ra a fegyvernem kötelekébe mintegy harminc aktív hadihajó tartozott. A hadiflotta megszervezésének célja a partvédelem, a brandenburgi (1648-tól a brandenburg-poroszországi) kereskedelmi útvonalak biztosítása és a kapcsolattartás megvalósítása a távoli gyarmatokkal (például brandenburgi Aranypart) volt.[1]
A versailles-i békeszerződés során a német haditengerészet létszámát 15 000 főben korlátozták, nem tarthatott tengeralattjárókat, a méretét 6 régi csatahajóban, 6 cirkálóban, és 12 rombolóban 12 torpedónaszádban és 1 segédhajóban maximalizálták, valamint nem építhetett 10 000 tonnánál nagyobb hadihajót. A haditengerészet személyzetét 15 000 főben határozták meg. A szigorú korlátozások miatt a vezérkar új technológiák bevezetésével és a békeszerződés megkerülésével próbálkozott. Az egyébként sem kedvező anyagi helyzetben lévő ország kormánya előteremtette a háborút, és az azt követő zűrzavaros időszakot túlélő hajók felújításához szükséges összeget, valamint kisebb hajóépítési programot is indított.
Az Adolf Hitler vezette nácik 1933-tól látványosan felrúgták a versailles-i béke szigorú korlátozásait és nagy volumenű fegyverkezési programot indítottak. A fejlesztéseknek a Birodalmi Haditengerészet is haszonélvezője lett. A fellendülést tovább erősítette az 1935-ös angol-német flottaegyezmény, amely lehetővé tette a hajók számának és méretének növelését. Ugyanebben az évben a német haditengerészet új nevet is kapott (Kriegsmarine).
1937-ben Hitler felállított egy szakértői bizottságot, melynek feladata a hírhedt Z terv kidolgozása volt. A terv szerint körülbelül tíz év alatt készült volna el: 10 csatahajó és csatacirkáló, 12 zsebcsatahajó, 2 repülőgép-hordozó, 50 cirkáló, 158 romboló és torpedónaszád, valamint 249 U-boot és számos kisebb hajó. Emellett haditengerészet létszámát 200 000 főre kívánták bővíteni. A háború kitörésére nyilvánvalóvá vált a terv kudarca, 1939 szeptemberére mindössze két csatacirkáló, 1 nehézcirkáló, a rombolók egy része, valamint a tengeralattjáróknak mindössze 1/6-a készült el.
A háború során a Kriegsmarine fő feladata a kikötők és partmenti területek légi és tengeri védelme volt, már csak a kialakult kedvezőtlen tengeri erőviszonyok miatt is. Ám dacára a britek elsöprő tengeri fölényének, a Kriegsmarine tevékenysége a háború első szakaszában sikeresnek nevezhető: Weserübung hadművelet illetve az Atlanti-óceánt átszelő ellenséges konvojok zavarása komoly veszteségeket okozott a szövetségeseknek. Ugyan Franciaország kapitulációjával a francia hajók eltűntek a hadszíntérről, ám a megszállt országok flottájának tekintélyes része tért brit zászlók alá és a Kriegsmarine veszteségeit a német hadiipar nem tudta megfelelően pótolni, így az erőviszonyok még inkább a szövetségesek javára tolódtak el.
1944 végétől a háború végéig, a Kriegsmarine felszíni flottájának feladata főként a visszavonuló német szárazföldi alakulatok fedezettüzének biztosítása volt a Balti-tenger partja mentén, emellett segédkeztek a civil lakosság átmenekítésében Németország nyugati részébe. A háború legvégső szakaszában a Kriegsmarine legénységéből is külön gyalogos hadosztályokat hoztak létre.