Luisa era una donna colta e raffinata, tuttavia, era considerata piuttosto normale e Carlo era deluso dal suo aspetto. Luisa era innamorata di suo marito, mentre lui preferiva altre donne, rattristandola profondamente. Le sue amate ben note comprendevano l'attrice Laura Bergnéhr, la contessa Josephine Sparre, Wilhelmine Schröder e le attrici Hanna Styrell ed Elise Hwasser. D'altra parte, il suo rapporto con la sua unica figlia, Luisa, era unito.
Molti pettegolezzi sostengono che Carlo ebbe molti figli illegittimi[3].
Re di Svezia e di Norvegia
Come principe ereditario, i suoi modi bruschi e non convenzionali indussero molti a preoccuparsi della sua futura ascesa al trono, anche se poi Carlo si dimostrò uno dei più popolari re scandinavi e uno dei re più fedeli alla costituzione. Il suo regno divenne famoso per le sue riforme: la legge comunale (1862), la legge ecclesiastica (1863) e la legge sul crimine (1864) furono approvate proprio per volere del re, il cui motto era: «Land skall med lag byggas» (con la legge si costruirà lo Stato).
Carlo era un convinto difensore della causa scandinava e della politica di solidarietà tra i tre regni settentrionali; la sua forte amicizia con re Federico VII di Danimarca, lo indusse a promettere alla Danimarca il suo sostegno alla vigilia della guerra del 1864, che, per certi aspetti, era ingiustificabile. Comunque, a causa della mancanza di preparazione dell'esercito svedese e delle difficoltà della situazione, Carlo fu obbligato a dichiararsi poi neutrale.
Carlo XV era un apprezzato pittore, e le sue poesie rivelano la sua perizia nello scrivere. Gli successe al trono di Norvegia e Svezia il fratello Oscar II. Poche settimane prima della morte di Carlo XV/IV, la figlia Luisa diede alla luce il suo secondo figlio, il giovane principe di Danimarca fu battezzato con il nome del nonno, Carlo, e nel 1905 questo nipote, il principe Carlo, salì al trono di Norvegia, diventando così successore del nonno, da parte della madre, nel Paese, e assunse il nome regnante di Haakon VII. L'attuale sovrano, re Harald V di Norvegia, è pro-pro-pronipote di Carlo, anche da parte di madre[6].
^Gustaf Elgenstierna, Den introducerade svenska adelns ättartavlor. 1925-36.
^ Lars Roar Langslet, Karl 4, Konge (1826-1872), su nbl.snl.no, Norsk biografisk leksikon. URL consultato il 1º settembre 2016.
^ Lars O. Lagerqvist, Nils Åberg e Lars E. Hjelm, Kings and rulers of Sweden: a pocket encyclopaedia, 2., rev., Stockholm, Vincent, 2002, p. 48, ISBN91-87064-35-9, Template:LIBRIS.