Le traité de pariage entre le roi de France Philippe le Bel et l'abbé de Saint-André ordonne en 1292 la construction d'une forteresse autour du bourg et de l'abbaye de Saint-André (le fort Saint-André) et d'une seconde près du vieux port à l'emplacement de la première tour.
L'architecte du roi, Randolphe de Mornel termine le premier étage de la tour en 1303. Une fortification nommée châtelet du pont fut également élevée au pied de la tour à l'extrémité du pont Saint-Bénézet, aujourd'hui démolie.
Vers 1360, au cours d'une réparation nécessitée par le besoin de tenir en respect les routiers, la tour est rehaussée d'un étage dans le style gothique.
Françoise Robin, « Villeneuve-lès-Avignon : Tour Philippe-le-Bel », dans Midi gothique : de Béziers à Avignon, Paris, Picard éditeur, coll. « Les monuments de la France gothique », , 389 p. (ISBN2-7084-0549-7), p. 216-219