Il est issu d'une famille nombreuse juive (plus d'une vingtaine d'enfants), dont le père exerce la profession de cantor. Il apprend le violon et, dès l'âge de douze ans, fait montre d'un réel talent de compositeur en écrivant, notamment, des pièces vocales. Il fait ses études à l'école de la Société musicale de Sopron (1842-1844) où l'on remarque ses capacités de violoniste.
Il se rend ensuite à Vienne où il est l'élève de Jança puis poursuit ses études au Conservatoire de Vienne avec Preger pour l'harmonie et Böher pour le violon. Il se fait un nom comme pédagogue (Jean Sibelius compte parmi ses élèves) et comme compositeur.
En 1851, il est engagé au théâtre de Josefstadt, puis au Carlstheater, approfondissant ses connaissances musicales qu'il met à profit dans ses propres œuvres. En 1858, il organise un concert de sa propre musique mais la réaction de la presse viennoise est négative, ce qui le décide à partir pour Budapest, où il donne des leçons de piano et continue l'étude de la composition. En 1859, il donne un deuxième concert et retourne à Vienne en 1860, où il rencontre Johannes Brahms, avec qui il se lie d'amitié. Avec Joseph Joachim, Brahms et le critique musical Eduard Hanslick, il défend la musique pure contre celle de Wagner.
Son quatuor à cordes, opus 8 le rend immédiatement célèbre.
Les grandes étapes de sa carrière sont la création de son ouverture Sakuntala par l'Orchestre philharmonique de Vienne, le , et la première représentation de son opéraLa Reine de Saba à l'Opéra de Vienne, le . Ces deux œuvres remportent un immense succès. On ne saurait passer sous silence son Concerto en la mineur pour violon et orchestre, composé en 1877, soit dix ans après le premier concerto de Max Bruch.
Sa musique évoque surtout la musique traditionnelle de la Hongrie et la musique liturgique juive.
Trio pour violon, violoncelle et piano, op. 4, en si bémol majeur (1858/59)
Quatuor à cordes, op. 8, en si bémol majeur (1860)
Quintette pour 2 violons, alto et 2 violoncelles, op. 9, en la mineur (1862)
Suite pour violon et piano, op. 11, en mi majeur
Sonate pour violon et piano, op. 25, en ré majeur (1874)
Quintette pour 2 violons, alto, violoncelle et piano, op. 30, en si bémol majeur (1878)
Trio pour violon, violoncelle et piano, op. 33, en mi mineur (1879)
Sonate pour violoncelle et piano, op. 39, en fa majeur (1890)
Suite pour violon et piano, op. 43, en mi bémol majeur (1892)
Quintette pour 2 violons, alto, violoncelle et piano, op. 54, en ré bémol majeur (1914)
Postérité
"Ouverture de Sakuntala, 8 rappels enthousiastes. Par tous les diables, ce Goldmark! Je ne l'aurais pas cru capable de cela ! Cette ouverture est cent fois mieux construite que n'importe quoi de Wagner, et psychologiquement si captieuse, si raffinée, que je recommençais à respirer l'air de Paris..." Nietzsche, lettre à Peter Gast du 2 décembre 1888
Discographie sélective (au 14/02/2020)
Quatuor à cordes op.8 ; Quintette à cordes op.9 : Mezö, Quatuor Lajtha (Hungaroton, 1993)
Concerto n°1 pour violon et orchestre, op.28 : Itzhak Perlman (violon), Orchestre Symphonique de Pittsburg, dir.: André Previn (EMI, 1979/80, + Korngold : Concerto pour violon op.35)