Buchheim var sønn av den tyske kunstmaleren Charlotte Buchheim (1891–1964). Han hadde en bror, Klaus Buchheim, som var to år yngre. I 1924 flyttet familien til Rochlitz i Sachsen, hvor han tilbrakte resten av barndommen, inntil familien flyttet til Chemnitz da han var 14 år. Han dro sammen med broren på en rekke sykkelturer, blant annet til Østersjøen og tegnet landskapsbilder som han senere reproduserte som linoleumstrykk. Han ble tidlig betraktet som et «malende vidunderbarn». Han produserte etter hvert bilder i en rekke ulike former og fikk sitt første offentlig oppdrag fra byen Chemitz som 17-åring.
Etter abitur i 1937 reiste han til Italia, hvor han skrev sin første bok, Tage und Nächte steigen aus dem Strom, som ble utgitt i 1941. Denne boken bygger på opplevelser fra en reise på Donau til Svartehavet i en sammenleggbar kajakk.
Under andre verdenskrig tjenestegjorde han fra 1941 som krigskorrespondent i et propagandakompani i Kriegsmarine og tjenestegjorde på minesveiper, jager og undervannsbåt. Han steg i gradene og var ved krigens slutt løytnant.
Da han tjenestegjorde på ubåten U-96 under kommando av Heinrich Lehmann-Willenbrock, skulle Buchheim dokumentere livet ombord både gjennom tekst og bilder under båtens syvende tokt under slaget om Atlanterhavet. På grunnlag av dette materialet skrev han først novellen Die Eichenlaubfahrt[8] (Eikeblad-patruljen), senere Das Boot (Ubåten), og til slutt U-Boot-Krieg (Ubåtkrig) i 1976.
Han skrev med denne erfaringsbakgrunnen også romanene U-Bootfahrer (Ubåtmannskap) og Zu Tode Gesiegt (For seier inntil døden). Bøkene om forholdene for ubåtene har også over 5 000 fotografier som ble tatt under krigen.