Zadebiutował w filmie pełnometrażowym, wojennym filmem Milczenie morza (1947). W 1950 nakręcił Straszne dzieci, na podstawie powieści Jeana Cocteau. Przez następną dekadę sukcesywnie umacniał swą pozycję we francuskim kinie, by na początku lat 60. stać się uznaną osobistością. Sławę przyniosły mu zwłaszcza filmy kryminalne, z Jeanem-Paulem Belmondem i Alainem Delonem (jego ulubionym aktorem) w rolach głównych.
Melville, od dzieciństwa zafascynowany amerykańskim kinem i kulturą, na nowo interpretował dokonania czarnego filmu. Wykorzystując identyczne motywy i rekwizyty co klasycy amerykańskiego kina gangsterskiego, w swoich filmach kreował świat znacznie bardziej ponury i dwuznaczny. Bohaterami jego filmów są samotni, milczący mężczyźni w prochowcach i kapeluszach – cyniczni mordercy i znużeni rutyną policjanci.
