A dus o luptă îndelungată cu Frederic de Habsburg (cel Frumos), inițial pentru tutelajul ducilor de Bavaria, iar la moartea lui Henric al VII-lea pentru coroana regală germană, fiecare dintre cei doi fiind susținuți de tabere opuse. În 1322 la Bătălia de la Mühldorf Frederic este învins și luat prizonier. În 1325, la presiunea papalității și a unei părți din susținători, Ludovic hotărăște să îl reabiliteze pe Frederic și să stabilească un mod de a conduce împreună Imperiul. Astfel Frederic devenea Rege al Germaniei iar Ludovic, împărat. Frederic renunță însă în 1326 la moartea fratelui său când s-a retras în ducatul Austria pentru a-l conduce până la moartea sa în 1330.
În 1327, Ludovic este încoronat rege al Italiei la Milano iar în 1328 acesta ocupă Roma și este încoronat împărat de către decanul de vârstă al nobilimii romane. Fiind în conflict cu Papa Ioan al XXII-lea, un aliat al Regelui Franței, Ludovic îl instalează pe Nicolae al V-lea ca Antipapă, acesta fiind detronat la părăsirea Romei de către Ludovic. Datorită conflictului cu Papalitatea, în 1338 principii electori hotărăsc să acorde în viitor titlul imperial automat la alegerea regelui Germaniei, fără a mai aștepta acordul Papalității.
Ludovic a fost protector al Cavalerilor Teutoni care au înființat Statul monastic al Cavalerilor Teutoni pe malul Balticii. În interiorul Imperiului s-a concentrat pe dezvoltarea orașelor, numele lui fiind asociat cu numeroase privilegii. Politica sa dinastică a favorizat casa sa regală și pe cea de Habsburg, ceea ce a dus la declanșarea unui conflict cu Casa de Luxemburg. Un conflict de lungă durată a fost evitat de moartea neașteptată a lui Ludovic în 1347.