Leeswaarschuwing: Onderstaande tekst bevat details over de inhoud of de afloop van het verhaal.
De film speelt zich af in Wenen in de negentiende eeuw. Johann is de zoon van een bekende componist, maar werkt zelf in een bank. Hij droomt ervan in zijn vaders voetsporen te treden en doet zelf ook pogingen walsen te schrijven. Als hij erop betrapt wordt aan zijn muziek te werken tijdens het werk, wordt hij ontslagen. Hij besluit op dat moment zijn leven volledig aan de muziek te wijden.
Johanns vriendin is Poldi Vogelhuber, de dochter van een bakker. In zijn bakkerij stelt bakker Kienzl hem voor een band op te richten. Johann gaat in op zijn aanbod en niet veel later maken ze hun eerste optreden in een bekend café. De eigenaar ervan, Otto Dommayer, kan hun muziek echter niet waarderen. Op het moment dat hij hen wil ontslaan, komen operazangers Fritz Schiller en Carla Donner in beeld om ze te vertellen hoeveel ze genoten hebben van hun optreden. Al snel groeien ze uit tot geprezen muzikanten en worden uitgenodigd voor een feest van graaf Anton 'Tony' Hohenfried.
Wanneer Carla op dat feest een van zijn walsen zingt, trekt ze de aandacht van Julius Hofbauer, een belangrijke man in de muziekindustrie. Johann heeft weinig interesse in zijn aanbod. Hij verlaat het feest en trouwt enkele dagen later met Poldi. Als er een revolutie uitbreekt, schrijft hij een mars die zeer geliefd wordt onder de revolutionairen. Ze besluiten het te gebruiken als volkslied. Op een dag dreigt Carla te worden aangevallen door de revolutionairen. Johann weet haar te redden en brengt de rest van de dag van haar door.
Ze beseffen dat ze verliefd op elkaar zijn geworden. Hij wil Poldi niet ontrouw zijn en is van plan om met haar Wenen te verlaten, zodat hij niet meer in verleiding kan komen. Hij verandert van gedachten als Carla tegen hem zegt dat hij aangesteld is een opera voor haar te schrijven. Rond de tijd dat de opera in première gaat, zijn Johann en Carla een affaire begonnen. Poldi en de graaf weten hiervan af en proberen er een einde aan te maken. Poldi brengt Carla een bezoek om haar te vertellen dat ze van plan is Johann te verlaten, zodat zij met hem kan trouwen. Carla realiseert hoeveel Poldi van hem houdt en besluit Johann te verlaten.
Al in 1934 waren er plannen de film te maken, die toen nog bekendstond onder de titel The Life of Johann Strauss. Nelson Eddy zou in eerste instantie de hoofdrol spelen, maar moest zich later terugtrekken.[2] Hierna werden talloze acteurs overwogen om hem te vervangen, waaronder Francis Lederer, Clifton Webb en Fredric March.[3] Het filmproject werd almaar vertraagd, omdat de makers veel problemen hadden met de audities. Uiteindelijk kreeg de relatief onbekende Fernand Gravey de rol. Na veel oponthoud, werd de film in 1938 uitgebracht.
