Tracce delle prime abitazioni sul sito di Les Baux-de-Provence sono riconducibili al 6000 a.C., e il sito venne colonizzato dai celti come "oppidum" o fortezza già dal II secolo a.C. Dal X secolo in poi divenne sede di un'importante signoria feudale, de Baux o del Balzo, che controllava 79 villaggi e città vicine. La tradizione vuole che questa famiglia derivasse dal Re Mago Baldassarre, da cui la stella di Betlemme in campo rosso che compare nello stemma della casata.
I Signori di Les Baux esercitarono un vasto controllo in Provenza per diversi secoli, assicurandosi fama ed onori. Malgrado la loro potenza, i signori di Baux vennero sconfitti dai Conti di Provenza nel XII secolo e si estinsero nel 1426 con la morte di Alice de Baux o del Balzo, contessa d'Avellino ed ultima signora di Les Baux.
Il castello di Les Baux accolse numerosi trovatori ed aveva una propria corte, rinomata per la finezza, la cultura e lo spirito cavalleresco.
La signoria di Les Baux venne integrata prima nella Contea di Provenza e poi nella corona di Francia col governatorato della famiglia Manville. La città, diventata un centro del protestantesimo, fu protagonista di una rivolta contro lo Stato soppressa dal cardinale Richelieu nel 1632 che ordinò l'abbattimento del castello e delle mura della città.
La città, nel 1642, venne concessa alla famiglia Grimaldi, reggente il Principato di Monaco, come marchesato francese. Oggi, il titolo di Marquis des Baux rimane alla famiglia Grimaldi, anche se sotto l'aspetto amministrativo la città è completamente affidata alla Francia. Il titolo viene tradizionalmente portato dall'erede al trono del principato monegasco.
Alla città e alla nobile famiglia è ispirata la canzone del cantautore Angelo Branduardi intitolata Il signore di Baux, contenuta nell'album Cogli la prima mela del 1979.