Saint-André liegt etwa 25 Kilometer östlich von Albi. Die Gemeinde wird im Norden durch den Tarn begrenzt. Umgeben wird Saint-André von den Nachbargemeinden Cadix im Norden und Nordosten, Curvalle im Osten und Südosten, Alban im Süden, Le Fraysse im Südwesten, Ambialet im Westen sowie Assac im Nordwesten.