Den blev grundlagt i 46 f.Kr. af Julius Cæsar på bredden af Rhônefloden, hvor man kunne overskue Camarguedeltaet. Den rummer stadig vidnesbyrd om den romerske fortid i form af en torveplads (forum) og nogle buegange, som er indbygget i domkirken. Byen kendes også som "Galliens lille Rom" på grund af de mange rester af romerske monumentalbygninger (teater, bade og amfiteater). Amfiteatret kunne i sin tid rumme 20.000 mennesker, og det bruges endnu til forskellige arrangementer, særligt de årlige tyrefægtninger. Museet i Arles rummer gode samlinger af gallo-romerske fund.
Det var også her, at Vincent van Gogh lavede nogle af sine kendte malerier.