Károlyi kwam uit het op een na rijkste magnatengeslacht van Hongarije. Reeds op jonge leeftijd voelde hij zich aangetrokken tot het links-liberalisme. Károlyi kon persoonlijk goed opschieten met graaf Leopold Berchtold, de latere Oostenrijk-Hongaarse minister van buitenlandse zaken, maar hun zienswijze was totaal verschillend. Waar Berchtold de status quo van Oostenrijk-Hongarije wilde handhaven, wilde Károlyi deze juist veranderen. In 1901 ging Károlyi in de politiek en in 1906 werd hij voor de Onafhankelijkheidspartij van Ferenc Kossuth in het Hongaarse Lagerhuis gekozen. Hij was een warm voorstander van de invoering van algemeen kiesrecht en liberale hervormingen.
Károlyi, een fel opponent van de Oostenrijk-Hongaarse deelname aan de Eerste Wereldoorlog, radicaliseerde tijdens de oorlog en streefde naar de Hongaarse onafhankelijkheid. Wegens zijn pacifisme en nationalisme won hij snel aan populariteit, ook onder het volk. Op 25 oktober1918 werd hij tot voorzitter van de revolutionaire Hongaarse Nationale Raad gekozen. Na de Asterrevolutie benoemde koning Karel IV (keizer Karel I) hem in november 1918 tot minister-president van de Hongaarse regering. Op 16 november, na de Oostenrijks-Hongaarse capitulatie, riep hij de Democratische Republiek Hongarije uit, los van Oostenrijk. Károlyi werd president en kwam met een uitgebreid hervormingsprogramma dat gesteund werd door de links-liberalen, de radicalen en de sociaaldemocraten. Als blijk van goede wil, herverdeelde Károlyi zijn eigen (uitgebreide) landgoederen onder de boeren. Voor de rest kwamen de hervormingen slechts langzaam van de grond, hetgeen voor de pas opgerichte Hongaarse Communistische Partij van Béla Kun en de zijnen aanleiding was om de radenrepubliek Hongarije te proclameren.
Károlyi werd als president op 16 maart1919 afgezet, in juli van dat jaar verliet hij Hongarije. Hij vertoefde achtereenvolgens in Oostenrijk, Tsjecho-Slowakije, Italië en Joegoslavië. In 1923 vestigde hij zich met zijn gezin in Groot-Brittannië. In Groot-Brittannië hield hij zich vooral bezig met journalistiek en hij werd diepgaand beïnvloed door het marxisme. Tijdens de Tweede Wereldoorlog was hij een anti-fascistisch propagandist en voorstander van een aan de kant van de Sovjet-Unie strijdende Hongaars Legioen. In 1943 werd hij in Londen tot voorzitter van de Hongaarse Nationale Raad gekozen (een soort regering in ballingschap). Na de oorlog keerde hij naar Hongarije terug en werd hij lid van de Nationale Vergadering. In 1947 werd hij Hongaars ambassadeur in Parijs. In 1949 legde hij zijn ambt neer als protest tegen het stalinisme in zijn geboorteland. Hij overleed in het Franse Vence, twee weken na zijn 80e verjaardag.
Zijn stoffelijk overschot werd in 1962 naar Hongarije teruggebracht en na een staatsbegrafenis herbegraven. Károlyi was getrouwd met Katalin Andrássy (1892-1985). Het echtpaar had drie kinderen.
