Село расположено на северо-западе Республики Алтай, на правом берегу Катуни, чуть ниже по течению от места слияния с ней реки Семы. Через Усть-Сему проходит основная транспортная магистраль региона — Чуйский тракт. Трасса здесь переходит с правого на левый берег через железобетонный мост, ставший первым на тракте. Он был возведён в 1959 году, взамен старого деревянного 1935 года постройки. Также от села стартует Чемальский тракт, идущий на юг в сторону села Куюс и районного центра Чемала.
Достопримечательности
На противоположном берегу Катуни находятся так называемые Семинские ванночки (или Катунские), небольшие чашеобразные старицы с тёплой водой. Кроме того, здесь обнаружено древнее многослойное поселение Усть-Сема эпохи палеолита и неолита (I тыс. до н. э.), включённое в перечень объектов исторического и культурного наследия федерального значения.
Чуть севернее в сторону села Барангол расположен 12-метровый Камышлинский водопад.