Samen met zijn vader en zijn twee broers vormde hij een zanggroep, het Björlingkwartet, waarmee hij in het begin van de jaren 1920 een tournee door de Verenigde Staten maakte.
Daarna studeerde hij bij John Forsell en debuteerde hij in 1929 in Stockholm als solist. In 1938 was hij als een van de eerste tenoren verbonden aan het Metropolitan Opera House te New York. Dit was het begin van een wereldwijde carrière als heldentenor in het belcantogenre.
Op een lijst uit 1999 uitgegeven door het, nu niet meer bestaande Engelse muziektijdschrift Classic cd prijkt Jussi Björling op de eerste plaats van de beste honderd zangers en zangeressen van de twintigste eeuw.