1804. augusztus 3-án Károly Frigyes Szentpétervárott házasságot kötött Marija Pavlovnaval. A házasságnak elsősorban politikai oka volt, hiszen a Marija nagyhercegnő által képviselt orosz cári családdal kialakított kapcsolat emelte rangosabb pozícióba a viszonylag szegényebb Szász–Weimar–Eisenachi Hercegséget. A ceremóniát követően az ifjú pár még kilenc hónapot töltött az orosz fővárosban, s csak ezután utaztak el Weimarba, ahol hatalmas ünnepségek keretében köszöntötték őket.
Marija Pavlovnának és Károly Frigyesnek négy gyermeke született:
Pál Sándor Károly herceg (1805–1806), csecsemőként elhalálozott