Saint-Martin-de-Lerm liegt etwa 61 Kilometer ostsüdöstlich von Bordeaux. An der südlichen Gemeindegrenze verläuft der Fluss Dropt, in den hier sein Zufluss Ségur einmündet. Umgeben wird Saint-Martin-de-Lerm von den Nachbargemeinden Saint-Martin-du-Puy im Norden, Landerrouet-sur-Ségur im Osten und Nordosten, Mesterrieux im Osten und Südosten, Loubens im Süden und Südosten, Bagas im Süden und Südwesten, Camiran im Westen und Südwesten sowie Saint-Hilaire-du-Bois im Westen und Nordwesten.