Erkel werd geboren in de Hongaarse stad Gyula in het zuidoosten van het land, zijn vader was Duits, zijn moeder Hongaars. Erkel was afkomstig uit een familie van Donauschwaben. Erkel gaat eerst naar het gymnasium in Nagyvárad (het huidige Oradea) en studeert daarna van 1822 tot 1825 in de Hongaarse stad Pozsony (het huidige Bratislava, de hoofdstad van Slowakije). De familie Erkel is van oorsprong hoogstwaarschijnlijk afkomstig uit de omgeving van Eindhoven, maar mogelijk ook uit Freiburg en omgeving. In Pozsony heeft hij bij Henrik Klein pianoles gekregen. Hij was daarna docent voor piano bij de adellijke familie Csáky in Kolozsvár (het huidige Cluj-Napoca).
In 1835 ging hij naar het toenmalige Pest (een deelstad van het huidige Boedapest). Hij werkte als concertpianist en werd vanaf 1838 dirigent van het orkest van de opera (Nationaal Theater) en bleef in deze functie tot 1874.
In zijn vrije tijd schreef hij composities, meestal over Hongaarse thema's, bijvoorbeeld het Duo brillant voor viool en piano in 1837, maar ook werken voor de filharmonische concerten, die hij in het leven geroepen heeft (Két pisztoly, de Himnusz - Hongaars volkslied "God zegene de Hongaren" (1844)) en verschillende pianowerken - hij was zelf een uitstekend pianist.
Als componist is hij vooral de schepper van een echte Hongaarse operataal nadat vroegere experimenten van Ruzitska, Bartay en anderen niet gelukt waren. Van rond 1840 tot 1887 was hij werkzaam in dit genre. Hij was de eerste, die een consequente Hongaarse opera zou creëren, waarin hij het idioom van de westerse opera in het Hongaarse milieu transplanteerde zonder de Italiaanse tintjes à la Rossini compleet overboord te gooien.
In 1853 stichtte hij het Philharmonisch Gezelschap te Boedapest. In 1884 werd de Hongaarse Staatsopera in Boedapest geopend. Bij de ingangspoort van dit gebouw staan de standbeelden van Ferenc Liszt en Ferenc Erkel.
In zijn laatste jaren heeft hij vooral koorwerken geschreven en tot 1886 gewerkt als pianodocent, en verder als 1e directeur van de Franz Liszt Muziekacademie te Boedapest.
Composities
Werken voor orkest
1844Himnusz - Hongaars volkslied voor koor en orkest - tekst: Ferenc Kölcsey (1790-1838)
1845Ouverture tot de opera "Hunyadi László" voor orkest
Bánk bán (gedeeltelijk samen met zijn zonen Gyula (1842-1909) en Sándor (1846-1900) geschreven) (deze opera is algemeen bekend als de meest Hongaarse opera)