Le nom de la ville provient de l'expression française « terre haute ». Les trappeurscanadiens français nommèrent l'endroit ainsi au XVIIIe siècle à cause du plateau surélevé situé à proximité de la rivière Wabash. C'est ici que se faisait la séparation entre les deux colonies de la Nouvelle-France : le Canada situé au nord de la ville et la Louisiane qui se trouvait au sud[1].
En 1763, après la guerre de Sept Ans qui voit la défaite de la France, la ville et sa région rejoignent la colonie de la Louisiane, qui est cédée à l'Espagne. En 1805, après la vente de la Louisiane par les Français aux Américains, la ville entrera dans l'histoire des États-Unis d'Amérique.
À partir de 1942, l'usine pharmaceutique Eli Lilly and Company de Terre Haute produisit jusqu'à 40 milliards d'unités de pénicilline par mois dans des réservoirs de 50 000 litres[2] tandis que d'autres productions s'intégraient au programme d'armes bactériologiques de l'armée américaine.
Selon l'American Community Survey, pour la période 2011-2015, 94,47 % de la population âgée de plus de 5 ans déclare parler l'anglais à la maison, 2,92 % déclare parler l'espagnol et 2,60 % une autre langue[5].
La ville de Terre Haute apparaît dans le film Comme un torrent (Some Came Running) de Vincente Minnelli (1958), à côté de la ville imaginaire de Parkman, mais aucune scène ne semble avoir été tournée à Terre Haute.