Het vierde legioen werd door Caesar opgericht tijdens de Romeinse burgeroorlog voor zijn strijd tegen Pompeius. Het legioen vocht mee in de door Caesar gewonnen slag bij Dyrrhachium en later in de slag bij Pharsalus, waarbij Pompeius vernietigend werd verslagen en op de vlucht sloeg: nog geen twee maanden later werd hij vermoord. Na de burgeroorlog stationeerde Caesar het legioen in de provincie Macedonia.
Keizer Augustus verplaatste het legioen in 30 v.Chr. naar de provincie Hispania Tarraconensis, waar het meevocht in de Cantabrische Oorlogen. Na de Romeinse overwinning bleef het legioen in Spanje tot het jaar 43, toen het naar Opper Germanië (Germania Superior) werd verplaatst, waar het in Mogontiacum (Mainz) werd gestationeerd. Samen met Legio XXII Primigenia steunde het vierde legioen tijdens het vierkeizerjaar troonpretendent Vitellius. Tijdens de Bataafse Opstand verdedigde het legioen Mogontiacum tegen de rebellen. Het legioen sloot zich bij de door de nieuwe keizer Vespasianus gestuurde legermacht van Quintus Petillius Cerialis aan om tegen de Bataven te strijden. Nadat deze waren overwonnen werd het legioen door Vespasianus ontbonden, waarschijnlijk omdat ze Vitellius gesteund hadden. De keizer liet korte tijd later een nieuw legioen oprichten: Legio IV Flavia Felix.