Ludvig vietti lapsuutensa isoisänsä Kaarle Suuren hovissa.
Hänen poikansa kapinoivat, mutta Ludvig taltutti kapinan. Isänsä kuoltua pojat Kaarle Paksu, Baijerin Karloman ja Ludvig Nuori jakoivat maat, mutta veljiensä kuoltua Kaarle Paksu kokosi ne jälleen yhteen.