Mielőtt Károly Lajos először megnősült, volt egy ismeretlen nevű ágyasa, akitől egy fia született 1643-ban, Ludwig von Seltz. 1650. február 22-én feleségül vette első hitvesét, a 22 esztendős Hesse-Kassel-i Saroltát, V. Vilmos tartománygróf leányát. A frigyből három gyermek született, Károly, Erzsébet Sarolta (a későbbi orléans-i hercegné) és Frigyes. Az utolsó gyermek még csecsemőként meghalt, és a házasság ezek után teljesen tönkre ment, majd pedig válással végződött, a férj hűtlenkedései miatt.
1658. január 6-án Károly Lajos újranősült, ám morganatikus (rangon aluli) házasságot kötött, ezúttal a 23 éves Degenfeld Mária Lujza bárónő lett a hitvese. Az asszony 13 örököst (Károly Lajos, Karolina Erzsébet, Lujza, Lajos, Amália Erzsébet, György Lajos, Friderika, Frigyes Vilmos, Károly Edvárd, Zsófia, Károly Móric, Károly Ágost és Károly Kazimír) szült férjének.
1677. március 18-án Mária Lujza meghalt, özvegye pedig 1679. december 11-én harmadszor is oltár elé állt, új asszonya pedig a 20 esztendős Bernau Hollander Erzsébet lett, aki egy gyermekkel (Károly Lajos) ajándékozta meg Károly Lajost 1681. április 17-én. (A fiú már 8 hónappal apja halála után született.)