Ancien truand retiré des « affaires », Denis Ferrand (Jean Gabin), dit « Le Fignoleur », coule des jours paisibles avec son épouse Marie-Jeanne (Suzanne Flon) dans une petite ville de l'Eure en Normandie, où l'on ignore tout de son passé. Il y est propriétaire d'un bar, le « Domino », géré par Betty (Margaret Lee), une de ses anciennes maîtresses, beaucoup plus jeune que lui. Il possède aussi une petite auberge, « La Chaumière », et un garage automobile le « Central Garage ».
Un jour, il découvre que l'un des serveurs se livre au trafic de drogue dans son auberge. Furieux, il met immédiatement un terme à l'affaire. Mais la bande qui contrôle le trafic ne l'entend pas de cette oreille. Elle organise une expédition punitive dans son auberge pour le mettre au pas. À sa grande surprise, l'un des hommes de main est Jim Beckley (Robert Stack), un vieil ami américain, ancien soldat de fortune et aventurier, rencontré jadis à Saïgon. Les amis retrouvés mettent en déroute les autres truands. Comprenant que la bande ne laissera pas le félon tranquille, Denis décide de cacher l'Américain chez lui.
Le lendemain, il révèle à l'ami retrouvé son secret : depuis des années, par goût et par nostalgie, il échafaude très minutieusement le cambriolage d'une agence bancaire située juste en face de son bar.