McCarey begynte sin filmkarriere som assisterende filmregissør til Tod Browning i 1920, men hans ferdigheter kom først fram i Hal Roachs filmselskap, Hal Roach Studio, på slutten av 1920-tallet. Han ble ansatt av Roach i 1923 da han skrev vitser for Our Gang-serien og for andre filmstjerner. Deretter produserte og regisserte han kortfilmer, inkludert en serie med oppfinnsomme og løsslupne to-rullere med Charley Chase. Det var hos Roach at McCarey satte sammen Stan Laurel og Oliver Hardy til «Laurel & Hardy» (norsk «Helan og Halvan») for første gang, og dermed skapte en av de mest varige komikerduoene gjennom alle tider. Hans eneste offisielle kreditering som regissør var We Faw Down (1928), Liberty (1929) og Wrong Again (1929), men han skrev også mange filmmanus. I løpet av 1929 ble han visepresident for produksjonen for hele filmselskapet.
Utover hans forkjærlighet for komedie var McCarey en hengiven katolikk og dypt engasjert i sosiale saker. I løpet av 1940-tallet endret hans filmarbeid seg i en mer alvorlig retning. McCarey var opptatt av de kamper som ennå ikke var kjempet for menneskelig verdighet etter at den andre verdenskrigen var vunnet. I 1944 gjorde han ferdig Vandre min vei, en fortelling om en ungdommelig og foretaksom prest, Chuck O'Malley, spilt av Bing Crosby. Han ble belønnet med sin andre Oscar for beste regi for innsatsen. McCareys andel av overskuddet fra denne kassesuksessen ga han den høyeste rapporterte inntekten i USA for året 1944. Oppfølgeren, Klokkene i St. Mary (1945), som ble produsert av McCareys eget filmproduksjonsselskap, var tilsvarende suksessfull.
Etter Koreakrigen reagerte tilskuerne derimot negativt til en del av hans filmer, eksempelvis den anti-kommunistiske filmen My Son, John (1952) som tiltrakk seg få publikummere. Fem år senere var han derimot tilbake på toppen som medforfatter, produsent, og regissør av Stevnemøtet, en klassisk romantisk komedie med Cary Grant og Deborah Kerr. Han fulgte opp denne suksessen med Rally 'Round the Flag, Boys! (1958), en komedie med Paul Newman og Joanne Woodward. Noen år senere regisserte han sin siste film, den dårlig mottatte Satan Never Sleeps (1962).
