Pocházel ze staré německé šlechtické rodiny, která byla v jedné linii dlouhodobě usazena v Uhrách (maďarský predikátHallerkeö je ekvivalentem německého výrazu Hallerstein).[2] Jeho rodištěm byl zámek Sânpaul (Kerelöszentpál v Sedmihradsku, dnes Rumunsko). Narodil se jako nejmladší ze tří synů hraběte Josefa Hallera (1753–1812), c. k. komořího a vrchního župana v Kluži, a jeho manželky Marie Terezie, rozené hraběnky Koháryové (1761–1812).[3][4] Původně studoval práva, ale již v roce 1813 jako kadet vstoupil do armády, bojoval v bitvě u Lipska, ještě téhož roku byl povýšen na podporučíka. V roce 1821 byl jmenován c. k. komořím[5] a v roce 1823 byl povýšen na rytmistra. V letech 1826–1830 byl osobním pobočníkem a komorníkem uherského palatinaarcivévody Josefa. V roce 1830 byl povýšen na majora a sloužil u 9. husarského pluku v Pardubicích.[6] V roce 1833 získal hodnost podplukovníka a byl přidělen k 5. husarskému pluku v Itálii.[7] Jako plukovník (1835) byl poté velitelem 6. husarského pluku se sídlem štábu ve Slavkově.[8][9] V roce 1837 byl přeložen do Vídně, kde působil jako důstojník uherské královské gardy.[10]
V říjnu 1842 byl jmenován do funkce chorvatského bána a téhož roku byl povýšen do hodnosti generálmajora. V Chorvatsku byl pověřen maďarizací, potlačoval národnostní projevy a v rámci Metternichovy politiky zpřísnil cenzuru. Na druhou stranu na zasedání uherského zemského sněmu v letech 1843–1844 hájil zájmy Chorvatska v rámci Uherského království, v roce 1845 finančně podpořil činnost Chorvatského národního divadla. V červenci 1845 nechal vojensky potlačit protesty v Záhřebu, došlo ke krveprolití a obětem na životech. I když není potvrzeno, že by byl za střelbu do demonstrantů osobně zodpovědný, v listopadu téhož roku na funkci bána rezignoval.[11][12]
V letech 1846–1847 zastával funkci nejvyššího hofmistra arcivévody Ludvíka Viktora, nejmladšího bratra císaře Františka Josefa. V revolučních letech 1848–1849 se zúčastnil bojů v Itálii[13] a v roce 1848 byl povýšen do hodnosti polního podmaršála. Krátce působil jako velitel pevnosti Peschiera.[14] V roce 1850 odešel do výslužby, ale v roce 1856 byl reaktivován jako zástupce uherského místodržitele arcivévody Albrechta.[15] V roce 1859 dosáhl hodnosti generála jezdectva a v roce 1860 byl znovu penzionován.[16] V letech 1865–1867 byl pověřen vedením sedmihradské dvorské kanceláře a nakonec od roku 1867 zastával čestnou hodnost kapitána uherské královské gardy.[17]
Zemřel svobodný a bezdětný ve Vídni 5. března 1875 ve věku nedožitých 79 let, pohřben byl na hřbitově ve svém rodišti v Sânpaul.