Da kong Ludvig omkom under en ulykke i 954, var bare to av hans i alt fem sønner fortsatt i live, den trettenårige Lothar og den bare ett år gamle Karl. Det er mulig at Ludvig hadde hatt i tankene å foreta en deling av sitt rike mellom dem, men i og med at Karl var så liten ble ikke dette aktuelt. Karl ble ekskludert fra den franske trone og den tyske keiser Otto II gjorde ham til hertug av Nedre Lorraine (Lotharingia, tysk Niederlothringen) i 977.
Hans far ga ham sannsynligvis kongelig makt i Burgund, men Lothar tok denne makten tilbake da han ble myndig. I 977 anklaget Karl Lothars hustru, Emma, datter av Lothar II av Italia, for utroskap med biskopen av Laon, Adalbéron. Kirkerådet i Sainte-Macre ved Fismes (i nærheten av Reims) frikjente dronningen og biskopen fra anklagene, men Karl hevdet hardnakket at utroskap var blitt begått og han ble tvunget til å forlate riket. Han fant tilflukt hos sin fetter Otto II som lovte ham den franske kronen så snart Lothar var fjernet. Karl ga deretter sin hyllest til den tyske keiseren og mottok herredømmet av Nedre Lorraine tilbake.
I august 978 invaderte Lothar Tyskland og erobret den keiserlige hovedstaden Aachen, men mislyktes å ta hverken Otto eller Karl til fange. I oktober invaderte Otto og Karl Frankrike, herjet landområdene rundt Reims, Soissons, og Laon. Den sistnevnte byen var hovedsetet til Frankrikes konger og Karl lot seg krone av Dietrich I, biskop av Metz. Lothar flyktet til Paris og ble beleiret der, men hjelp kom i form av Hugo Capets hær som tvang Otto og Karl til å oppgi beleiringen den 30. november. Bordet ble snudd da Hugo Capet og Lothar jagde den tyske keiseren og lensmann tilbake til Aachen og selv gjenerobret Laon.
Ettersom Karl hadde vært en vasall av Lothar var hans handlinger på vegne av Otto II betraktet som forræderi og han ble av den grunn ekskludert fra den franske trone. Ved Lothars død i 986 valgte magnatene Lothars sønn Ludvig V til konge, men da denne døde i 987 gikk tronen til en nytt dynasti, Hugo Capet. Således kom Huset Capet til den franske tronen grunnet den vanærende og oversette Karl av Lorraine. Karls ekteskap med en lavættet datteren av en vasall av Hugo Capet ble av hans motstandere også betraktet som en grunn til å nekte ham tronen. For å kunne ha fri hender i henhold til Frankrike abdiserte Karl fra hertugdømmet til fordel for sin eldste sønn Otto. Karl gikk til krig mot Hugo Capet, erobret Reims og Laon, men på skjærtorsdag den 26. mars991 ble han tatt til fange ved svik fra biskop Adalbéron. Sammen med sin yngste sønn Ludvig ble han fengslet av Hugo i Orléans og døde der en kort tid senere, muligens 21. juni 991, men uansett enten i eller før 993.
I 1666 ble Karls gravminne oppdaget i basilikakirken for sankt Servatius, Sint-Servaasbasiliek, i Maastricht. Hans hud synes å ha blitt gravlagt her i 1001, men det er ikke hans dødsdato som de fleste historikere har antatt.
