Schmidt nacque in una famiglia di religione cattolica romana. La madre era ungherese, mentre il padre lo era solo per metà.
La madre Mária Ravasz, un'abile pianista, fu la sua prima insegnante che gli diede una formazione sistematica sulle opere di JS Bach composte per strumenti a tastiera. Dal fratello Felizian Moczikuna, noto organista della chiesa francescana di Pressburg, apprese la teoria musicale. Dopo aver studiato per un breve periodo pianoforte con Theodor Leschetizky, nel 1888 si trasferì a Vienna con la famiglia e si iscrisse al conservatorio, nel quale studiò composizione con Robert Fuchs, violoncello con Ferdinand Hellmesberger e teoria del contrappunto con Anton Bruckner, diplomandosi col massimo dei voti nel 1896.
Fu selezionato fra altri 13 candidati per un posto da violoncellista alla Vienna Court Opera Orchestra, con la quale suonò fino al 1914, spesso sotto la direzione di Gustav Mahler, che abitualmente faceva suonare tutti gli assoli a Schmidt, sebbene il violoncellista principale fosse Friedrich Buxbaum. Schmidt era infatti anche un richiesto musicista da camera, che conservò relazioni molto cordiali con Arnold Schönberg malgrado le loro grandi differenze di stile.
Nel 1914, Schmidt fu il primo titolare di una cattedra di pianoforte al Conservatorio di Vienna, che era stato recentemente ribattezzato Accademia Imperiale di Musica e Arti dello Spettacolo. Pare che Leopold Godowsky rispose "l'altro è Franz Schmidt", quando gli fu chiesto chi fosse il più grande musicista vivente. Undici anni più tardi, divenne direttore dell'Accademia, della quale fu il rettore dal 1927 al 1931.
Durante la sua attività di insegnante di composizione, pianoforte, violoncello e contrappunto, Schmidt formò all'Accademia numerosi musicisti, direttori e compositori
di successo, quali: il pianista Friedrich Wührer e Alfred Rosé (figlio di Arnold Rosé, fondatore del Quartetto Rosé, Konzertmeister della Filarmonica di Vienna e cognato di Gustav Mahler). i compositori Walter Bricht (il suo alievo prediletto), Theodor Berger, Marcel Rubin, Alfred Uhl e Ľudovít Rajter. Schmidt ricevette l'Ordine Franz-Josef e un dottorato onorario presso l'Università di Vienna, fra gli altri attestati di stima.
La vita privata di Schmidt era in netto contrasto con il successo della sua illustre carriera professionale ed è stata offuscata dalla tragedia. La prima moglie, Karoline Perssin (1880-1943 circa), fu internata nell'ospedale psichiatrico "Am Steinhof " di Vienna nel 1919, nel quale rimase vittima del programma di eutanasia nazista tre anni dopo la sua morte. La loro figlia Emma Schmidt Holzschuh (1902-1932, sposata nel 1929) morì inaspettatamente dopo la nascita del suo primo figlio. Schmidt ebbe una grave trauma spirituale e fisico, che ispirò la Quarta Sinfonia del 1933 scritta come Requiem per mia figlia e, in particolare, nel suo oratorio apocalittico intitolato Il Libro dei Sette Sigilli. L'opera segnò la ripresa dell'attività artistica e contribuì al superamento della crisi.
Il suo secondo matrimonio nel 1923, con la giovane e promettente studentessa di pianoforte Margarethe Jirasek (1891-1964), per la prima volta portò una certa stabilità nella vita privata dell'artista, tanto attesa quanto necessaria per un personaggio che fu afflitto da molti gravi problemi di salute.
All'inizio del 1937, il peggioramento delle già precarie condizioni di salute costrinsero Schmidt ad abbandonare l'Accademia. Nel frattempo, l'Austria entrò a far parte del Reich tedesco a seguito dell'Anschluss e Schmidt fu considerato dalle autorità naziste come il più grande compositore vivente del cosiddetto Ostmark, per il quale ebbe l'incarico di scrivere una cantata il cui titolo era Deutsche Auferstehung. Ein festliches Lied (abbreviato come "La Resurezione Germanica"), rimasta incompiuta per dedicarsi ad altre due opere commissionate per il pianista con un solo braccio Paul Wittgenstein: il Quintetto in la maggiore per pianoforte sinistro, clarinetto e trio d'archi, al quale seguì la toccata in re minore per pianoforte solista. Schmidt morì l'11 febbraio 1939
Nel dopoguerra, l'influenza della sua arte risentì per lungo tempo dell'accusa di aver nutrito simpatie naziste, sebbene l'opera incriminata fosse stata accantonata nell'estate e nell'autunno del 1938, pochi mesi prima della morte.
Notre Dame, romantische Oper in zwei Aufzügen, Text nach Victor Hugo von Franz Schmidt und Leopold Wilk; komponiert: 1902–1904, Uraufführung: Wien 1914
Fredigundis, Oper in drei Akten, Text nach Felix Dahn von Bruno Warden und Ignaz Welleminsky; komponiert: 1916–1921, UA: Berlin, 19. Dezember 1922
Phantasiestück für Klavier mit Begleitung des Orchesters B-Dur (weitgehend identisch mit Zwischenspiel und Karnevalsmusik aus Notre Dame, jedoch durch pianistische Kadenzen erweitert. Entstanden vermutlich vor der gleichnamigen Oper). UA aus dem Manuskript, Wien, Musikverein: 8. November 2013. Klavier: Jasminka Stancul, Wiener Symphoniker, Dirigent: Fabio Luisi
Konzertante Variationen über ein Thema von Beethoven für Klavier (linke Hand allein) mit Begleitung des Orchesters; komponiert: 1923, UA: Wien 1924; Zweihändige Fassung von Friedrich Wührer (gedr. 1952)
Klavierkonzert Es-Dur (für linke Hand allein); komponiert: 1934, UA: Wien 1935; Zweihändige Fassung von Friedrich Wührer (gedr. 1952)
Altre opere orchestrali
Karnevalsmusik und Zwischenspiel aus der Oper Notre Dame; komponiert: 1902–1903; UA: Wien 1903
Variationen über ein Husarenlied für Orchester; komponiert: 1930–1931; UA: Wien 1931
Vier kleine Phantasiestücke nach ungarischen Nationalmelodien für Violoncello mit Klavierbegleitung; komponiert: 1892; UA: Wien 1926 (drei Stücke)
Streichquartett A-Dur; komponiert: 1925; UA: Wien 1925
Streichquartett G-Dur; komponiert: 1929; UA: Wien 1930
Quintett für Klavier (linke Hand allein), zwei Violinen, Bratsche und Violoncello G-Dur; komponiert: 1926; UA: Stuttgart 1931; zweihändige Fassung von Friedrich Wührer (gedr. 1954)
Quintett für Klarinette, Klavier (für die linke Hand allein), Violine, Bratsche und Violoncello B-Dur; komponiert: 1932; UA: Wien 1933
Quintett für Klarinette, Klavier (für die linke Hand allein), Violine, Bratsche und Violoncello A-Dur; komponiert: 1938; UA: Wien 1939; zweihändige Fassung von Friedrich Wührer (gedr. 1952)
Musica per ottoni
Variationen und Fuge über ein eigenes Thema D-Dur (Königsfanfaren aus Fredigundis); 3. Fassung für Bläser allein; komponiert: 1925, UA: Wien 1925
Musica per organo e ottoni
Variationen und Fuge über ein eigenes Thema D-Dur (Königsfanfaren aus Fredigundis); 4. Fassung für 14 Bläser, Pauke und Orgel; komponiert: 1925, UA: Wien 1925
Choralvorspiel „Gott erhalte“ für Orgel mit ad libitum hinzutretenden Bläserchor; komponiert: 1933, UA: Wien 1933
Fuga solemnis für Orgel mit Zutritt von 6 Trompeten, 6 Hörnern, 3 Posaunen, Basstuba und Pauken; komponiert: 1937, UA: Wien 1939
Intermezzo fis-Moll (=2. Satz des A-Dur-Quintetts)
Toccata d-Moll (für die linke Hand allein); komponiert: 1938, UA: Wien 1940 (zweihändige Fassung); zweihändige Fassung von Friedrich Wührer (gedr.: 1952)
Organo
Variationen über ein Thema von Chr. W. Gluck (verschollen)
Variationen und Fuge über ein eigenes Thema D-Dur (Königsfanfaren aus Fredigundis), 1. Fassung; komponiert: 1916
Phantasie und Fuge D-Dur; komponiert: 1923–1924, UA: Wien 1924
Variationen und Fuge über ein eigenes Thema D-Dur (Königsfanfaren aus Fredigundis), 2. Fassung; komponiert: 1924, UA: Wien 1924
Toccata C-Dur; komponiert: 1924, UA: Wien 1925
Präludium und Fuge Es-Dur; komponiert: 1924, UA: Wien 1925
Chaconne cis-Moll; komponiert: 1925, UA: Wien 1925
Vier kleine Choralvorspiele; komponiert: 1926, UA: Wien 1926
„O Ewigkeit du Donnerwort“, F-Dur
„Was mein Gott will“, h-Moll
„O, wie selig seid ihr doch, ihr Frommen“, d-Moll
„Nun danket alle Gott“, A-Dur
Fuge F-Dur; komponiert: 1927, UA: Wien 1932
Präludium und Fuge C-Dur; komponiert: 1927, UA: Wien 1928
Vier kleine Präludien und Fugen; komponiert: 1928, UA: Berlin 1929
Präludium und Fuge Es-Dur
Präludium und Fuge c-Moll
Präludium und Fuge G-Dur
Präludium und Fuge D-Dur
Choralvorspiel „Der Heiland ist erstanden“; komponiert: 1934, UA: Wien 1934
Präludium und Fuge A-Dur, Weihnachtspastorale; komponiert: 1934, UA: Wien 1934
Toccata und Fuge As-Dur; komponiert: 1935, UA: Wien 1936
P. Rainer Rudolf, Eduard Ulreich: Karpatendeutsches Biographisches Lexikon. Arbeitsgemeinschaft der Karpatendeutschen aus der Slowakei, Stuttgart 1988, ISBN 3-927096-00-8, S. 291 f.
Norbert Tschulik: Franz Schmidt. Österreichischer Bundesverlag, Wien 1972
Albert Arbeiter: Einführung in das Buch mit sieben Siegeln Selbstverlag, Judenburg 1958, 2. Auflage Bregenz
Gerhard Schmiedpeter: Literarische und musikalische Aspekte zur Oper Notre-Dame. Diplomarbeit an der Hochschule für Musik und darstellende Kunst in Wien, 1985, Manuskript
Gregor Gatscher-Riedl: Franz Schmidt und Perchtoldsdorf In: Heimatkundliche Beilage [zum Amtsblatt der Bezirkshauptmannschaft Mödling], 49. Jg., F. 4, (Mödling 5. Dezember 2014), S. 27 ff.
Reiner Schuhenn: Franz Schmidts oratorische Werke, Doblinger, Wien 1990