Женен е за италианската принцеса Зита Бурбон-Пармска (1892 – 1989). Имат 8 деца, най-голямото от които е Ото Хабсбург, бивш глава на рода Хабсбург-Лотринген. Императрица Зита е еднокръвна сестра (имат общ баща) с българската княгиня Мария-Луиза, съпругата на цар Фердинанд I.
След два неуспешни опита да си върне унгарския трон на 19 ноември1921 г. той отива на остров Мадейра в качеството на чужденец. След като боледува от възпаление на белите дробове, умира на 21 април 1922 г.