Nato da una famiglia ebrea di commercianti in una piccola cittadina della Georgia, frequentò la Oglethorpe School a Brookhaven e, dopo il diploma, si spostò a New York dove cercò di inserirsi nell'ambiente teatrale con l'idea di proporre un suo lavoro. Esordì a Broadway nel 1928 con un testo di Eugene O'Neill e in breve tempo divenne attore professionista e regista di teatro.
Nel 1931 sposò Hedda Comorau dalla quale ebbe due figli. Nel periodo di transizione tra il muto e il sonoro, decise di trasferirsi a Hollywood e ottenne il suo primo ruolo accanto a John Barrymore in Ritorno alla vita sotto la regia di William Wyler. Dopo una breve serie di film girati come attore, nel 1938 firmò per la Warner Bros. un contratto come regista, debuttando con Il ritorno del dottor X. Destinato all'inizio alla direzione di film a basso costo, si distinse per la capacità di riscrivere le sceneggiature trasformando questi film in altrettanti successi. Presto cominciarono ad affidargli pellicole di maggior impegno economico e soprattutto storie imperniate su personaggi femminili, tra i quali ricordiamo L'amica (1943), La signora Skeffington (1944), Le donne erano sole (1947), Cuore solitario (1949), Sola col suo rimorso (1950) e Trinidad (1952).
Nel corso della sua carriera come "regista di donne", ebbe molte relazioni con celebri attrici incontrate sul set: Bette Davis, Rita Hayworth e Joan Crawford; con qest'ultima rimase per circa tre anni dirigendola consecutivamente in tre pellicole. Dopo la morte della moglie legittima (1984) si unì con l'attrice Francine York che rimase con lui per circa dieci anni.
Terminata la sua carriera come regista (l'ultimo film risale al 1957), Sherman continuò a lavorare ancora per molti anni come regista televisivo e nel 2004 fu il più anziano cineasta a prendere parte a Imaginary Witness, documentario sull'olocausto narrato in sessanta anni di cinema.
Ritiratosi presso la Motion Picture and Television Country House and Hospital, una casa di riposo nei pressi di Los Angeles che ospita maestranze del cinema e della televisione, Sherman morì quattro settimane prima del suo centesimo compleanno.
