Był synem niemieckich emigrantów żydowskiego pochodzenia Franza Mankiewicza i Joanny Blumenau. Miał dwoje starszego rodzeństwa: siostrę Emmę (1901–1979), która wyszła za mąż za nowojorskiego chirurga Josepha Stenbucka, oraz brata Hermana (1899–1953), który został scenarzystą filmowym. Był trzykrotnie żonaty. Jego pierwszą żoną, którą poślubił w 1934, była aktorka Elizabeth Younge. Rozwiedli się w 1937. Z drugą żoną, poślubioną w 1939, Rose Stradner miał dwóch synów: Christophera Mankiewicza i Toma Mankiewicza. Christopher zagrał w kilku filmach, a Tom został scenarzystą. Po śmierci Rose Stradner w 1959 Mankiewicz ożenił się po raz trzeci z Rosemary Matthews.
Osiągnięcia filmowe
Napisał ponad czterdzieści scenariuszy i wyreżyserował 22 filmy. W latach 1949 i 1950 zdobył po dwa Oscary za scenariusz i reżyserię filmów List do trzech żon oraz Wszystko o Ewie. Uzyskał także nominacje za reżyserię filmów Detektyw (1972) i Kryptonim Cicero (1952), za scenariusze do filmów Skippy (1931) oraz Bosonoga Contessa (1954). Nominację do Oscara dla najlepszego filmu uzyskała także wyprodukowana przez niego w 1941 Filadelfijska opowieść.
W filmie biograficznym o jego bracie Hermanie Mank z 2020 rolę Josepha odtwarza Tom Pelphrey.