Sermon est né le à Bay Shore, Long Island, New York[1]. Sermon lance sa carrière en 1987 au sein du groupe EPMD sous le nom de scène E Double, ou The Green-Eyed Bandit[2]. Le groupe publie son premier vinyle, It's My Thing, qui sera vendu à 500 000 exemplaires[1].
Après une première séparation avec le groupe EPMD, Sermon publie son premier album en solo en 1993, intitulé No Pressure au label Def Jam[3], qui atteint la 16e place du Billboard 200[4]. Il est suivi par un deuxième album, Double or Nothing, le [5] qui fait moins bien que son prédécesseur, atteignant la 35e place du Billboard 200[6]. EPMD se reforme en 1997, mais arrête définitivement en 1999. Erick Sermon en profite alors pour reprendre de plus belle sa carrière solo en tant que rappeur et producteur pour Keith Murray, En Vogue, Blackstreet, et Redman, entre autres[1].
En 2000, Sermon signe avec le label J Records, et publie son album Music l'année suivante, le [7] qui atteint la 33e place du Billboard 200[8]. Le premier single de l'album s'intitule Music, composé avec Marvin Gaye. Le single atteint la 22e place du Billboard Hot 100[8]. Le deuxième album de Sermon chez J Records, React est publié le [9].
Le 12 novembre 2011, Sermon est frappé par une crise cardiaque, et en récupérera peu de temps après[10].