George IV oli George III ja tema naise Charlotte von Mecklenburg-Strelitzi vanim poeg. Tal oli 8 nooremat venda ja 6 nooremat õde. Ainult viiel neist oli lapsi.
George III kannatas vaimuhaiguse all. Selle esimene hoog oli väidetavalt juba 1765 ja järgmine, juba raskem ja pikem hoog 1788. Hiljem tema haigus süvenes ja tänapäeva mõistes ta ravi samahästi kui ei saanud. 1811 kaotas George III lõplikult mõistuse ja sellest aastast kuni isa surmani oli George IV kuningriigi regent.
George IV polnud kokkuhoidlik. 1795. aastaks oli talle tekkinud võlgu 630 tuhande naelsterlingi eest, mis vastab tänapäevaks 70 miljonile naelale. Riigikassast hakati seda vähehaaval tagasi maksma ja 1795. aasta võlad said 1806. aastaks makstud.
George IV-l oli palju armukesi. Kuulujuttude järgi olevat tal olnud ka palju abieluväliseid lapsi, ent kõigi nende juttude tõepära on kahtluse alla seatud. Nähtavasti sündis tema ainus laps tema seaduslikust abielust.
8. aprillil1795abiellus George IV oma täditütre Brunswicki Caroline'iga. Nende iseloomud ei sobinud omavahel ja pärast seda, kui järgmisel aastal sündis nende ainus laps printsess Charlotte, kolisid nad 1797 lahku. Caroline rohkem oma lapse kasvatamises ei osalenud. Põhiliselt elas ta välismaal. Kuigi George IV püüdis korduvalt oma abielu lahutada, ei õnnestunud see siiski ja abielu kestis kuni Caroline'i surmani 1821. Muuhulgas takistas lahutust asjaolu, et Caroline oli oma alamate seas väga armastatud, palju enam kui kuningas ise. Kuid George IV keelas Caroline'il tulla oma kroonimispidustustele ja kui Caroline siiski Westminster Abbeysse pääseda püüdis, aeti ta sealt minema.
Nende tütar Caroline abiellus 5. mail1816 Saksi-Coburgi-Saalfeldi Leopoldiga, kellest hiljem sai Belgia kuningasLeopold I. Poolteist aastat hiljem suri ta pärast surnud poja sünnitamist. Seetõttu polnud George IV-l oma surma ajal järeltulijaid ning talle järgnes Suurbritannia ja Iirimaa Ühendkuningriigi troonil tema vend William IV. William oli pere kolmas poeg. Teine poeg, Yorki hertsog Frederick oli surnud järeltulijateta kolm aastat enne George IV-t.
