Hermann Levi byl syn hesenského zemského rabína Benedicta Leviho (1806-1899). V letech 1852-55 studoval na gymnáziu v Mannheimu, kde jej vyučoval hudbě dvorní kapelník Vincenz Lachnerm v letech 1855-58 pokračoval ve studiu na konzervatoři v Lipsku. V letech 1859-61 byl kapelníkem (Musikdirektor) v Saarbrückenu. Po smrti Františka Škroupa jej nahradil jako kapelník německé opery v Rotterdamu, kde vzbudil pozornost zejména uvedením WagnerovaLohengrina. V letech 1864-72 byl dvorním kapelníkem v Karlsruhe, kde uvedl řad děl Johannese Brahmse, mj. Ein deutsches Requiem, ale též Wagnerovy Mistry pěvce norimberské. Roku 1872 byl povolán na místo prvního dvorního kapelníka do Mnichova, což zahrnovalo i hudební řízení mnichovské opery, a roku 1894 byl jmenován „generálním hudebním ředitelem“. Tuto funkci však musel o dva roky později ze zdravotních důvodů složit.
Od počátku 60. let 19. století byl blízkým přítelem Johannese Brahmse, v průběhu 70. let však bylo toto přátelství narušeno Leviho příklonem k Brahmsově oponentu Wagnerovi. Levi dirigoval roku v Mnichově 1878 první mimobayreuthskou inscenaci Prstenu Nibelungova a Wagner si jej vybral jako ideálního dirigenta pro premiéru svého Parsifala, a to i přes Leviho židovský původ, který byl v rozporu s antisemitskými názory Richarda Wagnera i s křesťansko-mystickým námětem opery. Levi dirigoval Parsifala na Hudebních slavnostech v Bayreuthu pravidelně až do roku 1894. Dirigoval rovněž řadu "separátních" představení Wagnerových oper pro bavorského krále Ludvíka II. s vyloučením veřejnosti.
Vedle Wagnera byl Levi významným interpretem Mozartových oper. Pro cyklus letních představení připravil Levi i jejich moderní zpracování, která měla odstranit některé pozdější úpravy; přestože i v nich zůstávaly svévolné zásady, byla ve své době ceněna. Sám také nově přeložil do němčiny libreta Lorenza da Ponteho k Così fan tutte, Figarově svatbě a Donu Giovannimu; jeho překlad dosáhl značné obliby a dosud se příležitostně užívá.
Levi byl především jedním z nejvýznamnějších dirigentů své doby. Na počátku své dráhy byl i zdatným klavíristou. Vlastní skladatelská činnost Leviho byla velmi skromná, po Brahmsově zdrcující kritice jí zanechal a svá díla zničil, takže se dochovaly jen skladby již dříve vydané tiskem: klavírní koncert a moll (Op. 1) a dva svazky písní.
