Els seus pares eren cantants i el seu avi era músic. Incapaç de pagar-se un professor, va aprendre a cantar amb l'ajuda de gravacions d'òpera. Als 14 anys, va treballar com a telefonista en una foneria de ferro de Filadèlfia. El doctor Edouard Lippe li va donar lliçons particulars i li va prestar diners per a estudis a Dresden i París.
Nelson Eddy va donar el seu primer concert el 1928 a Filadèlfia. El 1933, signa un contracte de set anys amb la Metro-Goldwyn-Mayer. Després de lliçons amb la MGM, coneix l'èxit amb Jeanette MacDonald a la pel·lícula Naughty Marietta, feta amb un molt petit pressupost. Jeanette MacDonald i ell van rodar després sis pel·lícules junts. La seva última pel·lícula va ser I Married an Angel el 1942.
Mor el 6 de març de 1967, als 65 anys. Es va convertir a la religió dels Testimonis de Jehovà en els últims anys de la seva vida. Ell i la seva dona Anne Denitz no van tenir cap fill.
