Nato a Kunzendorf, in Slesia, oggi Lipnik, in Polonia, in una famiglia ebraica[1], Schnabel studiò pianoforte fin dall'età di sette anni a Vienna, sotto la guida di Teodor Leszetycki, che gli disse "Tu non sarai mai un pianista. Tu sei un musicista". Schnabel tenne in considerazione quest'affermazione del suo maestro e piuttosto che mettersi a suonare pezzi virtuosistici di compositori come Liszt che erano molto popolari all'epoca, scelse di concentrarsi sui classici tedeschi, come Mozart, Beethoven e Schubert. Successivamente Schnabel studiò anche composizione con Eusebius Mandyczewski, che era stato amico di Brahms.
Nel 1900 Schnabel si trasferì a Berlino, dove cominciò la sua carriera di pianista. Si guadagnò una certa fama grazie ai concerti che tenne con il direttore Artur Nikisch, così come suonando musica da camera e accompagnando al pianoforte la sua futura moglie, il contraltoTherese Behr (1876-1959), specializzata nel repertorio liederistico. Sembra che il repertorio di Schnabel abbia subito qualche influenza dalla Behr, che lo incoraggiò a esplorare le sonate di Schubert e le opere di Brahms.
Schnabel è noto per aver rivisitato le allora neglette sonate di Schubert e, ancor di più, quelle di Beethoven. All'epoca, la musica per pianoforte di Beethoven era poco suonata e scarsamente apprezzata dal largo pubblico.
Nel corso di una tournée in Spagna, Schnabel scrisse a sua moglie che durante un concerto in cui suonava le Variazioni Diabelli di Beethoven, all'inizio provò un senso di colpa per il pubblico. "Sono l'unico qui che sta gioendo per questo concerto, e vengo anche pagato; essi pagano e devono soffrire", scrisse. Schnabel fece molto per popolarizzare la musica di Beethoven, realizzando la prima registrazione completa delle sonate (conclusa nel 1935). Queste incisioni non sono mai andate fuori catalogo e sono considerate da molti la pietra di paragone dell'interpretazione delle Sonate per pianoforte di Beethoven. Schnabel incise anche tutti e cinque i concerti per pianoforte di Beethoven.
Nonostante il suo repertorio non si discostasse molto dalle opere di Beethoven, Schubert, Mozart e Brahms, quasi tutte le sue composizioni originali sono atonali. In anni recenti alcune sue composizioni sono state registrate e rese disponibili in CD (diversa musica da camera, in particolare per violino, le tre sinfonie, la sonata per pianoforte).
Nel 1946 avviene la prima esecuzione assoluta nella Recital Hall del Walker Art Center di Saint Paul della Sinfonia n. 1 di sua composizione diretta da Dimitri Mitropoulos.
In America insegnò alla University of Michigan, e ritornò in Europa solo dopo la fine della seconda guerra mondiale. Continuò a dare concerti su entrambe le sponde dell'Atlantico fino alla fine dei suoi anni. Morì a Morschach, in Svizzera.
Anche uno dei suoi figli, Karl Ulrich Schnabel (1909-2001), fu pianista classico, mentre un altro suo figlio, Stefan Schnabel, divenne un attore caratterista di successo.
Schnabel trovò la sua ultima dimora nel cimitero di Svitto, capoluogo del cantone omonimo. Nella tomba furono sepolti anche sua moglie Therese, il figlio Karl Ulrich, sua moglie Helen, nata Fogel (1911–1974), pianista americana, e il nipote Claude Alain Mottier (1972–2002), anch'egli pianista, morto in un incidente stradale senza colpa sua. Nel 2006 il Comune di Svitto ha dichiarato la tomba di famiglia monumento e quindi protetta in modo permanente dall'abbandono.