Marie Louise d'Orléans estis lia unua edzino kaj Mariana de Neoburgo estis lia dua edzino.
En la historio de Hispanio, Karlo la 2-a estas konata kiel El Hechizado (la malbenita), pro popola kredo (kion Karlo mem kredis) ke liaj korpaj kaj intelektaj mankoj devenis de sorĉarto, kvankam la vera kaŭzo ŝajnas hodiaŭ okulfrapa : seninterrompaj edziĝoj inter la samaj reĝaj familioj en Eŭropo dum pluraj jarcentoj ofte generis tiajn degeneritajn idojn.