Brown begon zijn loopbaan als autoverkoper, maar hij hield daar in 1913 mee op voor een carrière in de filmindustrie. Na zijn diensttijd in de Eerste Wereldoorlog brak hij in 1920 door als regisseur bij de filmmaatschappij Metro-Goldwyn-Mayer. Door de jaren heen werkte hij met vooraanstaande actrices als Joan Crawford en Greta Garbo. Hij werd in de loop van zijn carrière zes keer genomineerd voor een Oscar, maar hij won de trofee nooit. Hij was ook vijf maal getrouwd. Zijn vierde vrouw was de actrice Alice Joyce. In 1952 draaide hij met Plymouth Adventure zijn laatste film.
Brown stierf op 97-jarige leeftijd aan een nierfalen in Santa Monica.
