Saint-Salvy-de-la-Balme liegt an den nördlichen Ausläufern der Montagne Noire (dt. „Schwarzes Gebirge“). Die Gemeinde befindet sich etwa 13 Kilometer östlich von Castres. Umgeben wird Saint-Salvy-de-la-Balme von den Nachbargemeinden Burlats im Norden, Le Bez im Osten und Nordosten, Cambounès im Osten und Südosten, Boissezon im Süden, Noailhac im Süden und Südwesten, Caucalières im Westen sowie Valdurenque im Nordwesten. An der südöstlichen Gemeindegrenze verläuft das Flüsschen Durencuse.