Ses parents étaient chanteurs et son grand-père était musicien. Incapable de se payer un professeur, il a appris à chanter à l'aide d'enregistrements d'opéra. À l'âge de 14 ans, il a travaillé en tant qu'opérateur de téléphone dans une fonderie de fer de Philadelphie. Le docteur Edouard Lippe lui a donné des leçons particulières et lui a prêté de l'argent pour des études à Dresde et à Paris.
Nelson Eddy a donné son premier concert en 1928 à Philadelphie. En 1933, il signe un contrat de sept ans pour la MGM. Après des leçons avec la MGM, il connait le succès avec Jeanette MacDonald dans le filmNaughty Marietta, fait avec un très petit budget. Jeanette MacDonald et lui ont tourné ensuite plus de six films ensemble. Leur dernier film était Ma femme est un ange en 1942. Ses films avec Jeanette MacDonald se sont bien vendus jusque vers 1959.
Il décède le , à l'âge de 65 ans. Il s'est converti à la religion des Témoins de Jéhovah au cours des dernières années de sa vie. Lui et sa femme Anne Denitz (1894-1987) n'ont eu aucun enfant.
