Karl föddes i Herstal, i dagens Belgien, som oäkta son till Pippin II och dennes älskarinna Alpheid. Karl Martell valdes till Maior domus, och styrde frankerna såsom konung, och titulerade sig själv frankernas furste, (de sista fyra åren lade han inte ens vikt vid att kallas kung) och var oavsett titel härskare över de frankiska kungadömena. Han utökade sitt styre över alla de tre frankiska rikena: Austrasien, Neustrien och Burgund.
Han segrade i slaget vid Poitiers (732), vilket var det enskilt viktigaste slaget som ledde till att den muslimska expansionen inte kom längre än till Iberien (nuvarande Spanien), och inte nådde in i Frankerriket.
