È ritenuto all'unanimità uno dei più grandi talenti di tutti i tempi di questo sport, tanto da ottenere una notevole fama internazionale soprattutto in Cina. In Cina è soprannominato "l'albero sempreverde" per la sua longevità ad altissimi livelli: ai Campionati del Mondo ha infatti raggiunto per 6 volte almeno le semifinali del singolare (record assoluto da quando la competizione è biennale), a 13 anni di distanza tra la prima e l'ultima. L'ultimo risultato di livello mondiale in singolare, la semifinale alle Olimpiadi di Atene del 2004, è stato raggiunto 17 anni dopo la sua prima finale ai Campionati mondiali, disputata nel 1987 a Nuova Delhi.
Waldner esordì giovanissimo nella nazionale svedese. Nel 1982, non ancora diciassettenne, arrivò alla finale dei campionati europei, perdendo dal connazionale Mikael Appelgren dopo aver condotto 2 set a zero e con 2 match-point sul punteggio di 20 a 18 nel terzo.
Con il suo contributo decisivo, la squadra svedese tra la fine degli anni ottanta e l'inizio degli anni novanta riuscì a interrompere l'egemonia cinese, vincendo nel corso degli anni tutte le principali competizioni internazionali.
Nel 2010 all'età di 45 anni vinse il suo nono titolo di Campione svedese nel singolare, sconfiggendo in finale Pär Gerell giocatore nato nel 1982, ovvero l'anno in cui Waldner vinse il suo primo titolo di Campione nazionale.
Ha militato nella squadra del TTC Rhön-Sprudel Fulda-Maberzell fino al maggio del 2012 nella Bundesliga tedesca. In quel periodo Stefan Frauenholz, presidente del TTC Rhön-Sprudel Fulda-Maberzell, confermò la conclusione del contratto che legava Waldner al club, terminando in questo modo la carriera del campione svedese a livello internazionale.
Terminata l'esperienza con il Fulda-Maberzell, si legò alla squadra svedese dello Spårvägens BTK. Si è ritirato l'11 febbraio 2016.
Ad oggi Waldner è uno dei cinque giocatori nella storia del tennistavolo, assieme ai cinesi Liu Guoliang (1999), Kong Linghui (2000), Zhang Jike (2012) e Ma Long (2016) ad aver conquistato il Grande Slam (Oro olimpico individuale, Campionato mondiale individuale, Coppa del Mondo individuale), impresa completata nel 1992. Nel suo palmares manca solo la vittoria in singolare nelle Finali individuali dell'ITTF World Tour, un tempo denominato ITTF Pro Tour.