Cresciuto a Copenaghen, dove iniziò ad andare in barca a vela fin dalla giovane età, Elvstrøm è passato alla storia soprattutto per due "record olimpici". Uno di questi, poi superato, sul numero di Olimpiadi disputate e l'altro, ancora imbattuto (seppure detenuto ex aequo), per il maggior numero di medaglie d'oro consecutive nella stessa specialità.
Oltre ai successi olimpici Elvstrøm ha conseguito vittorie in un numero impressionante di competizioni, tra le quali spiccano 15 campionati mondiali di vela (in otto classi diverse tra cui: Soling, Star, Flying Dutchman, 505, Snipe e Finn) e 8 campionati europei.
Oltre ai risultati sportivi, Elvstrøm ha portato un contributo alla vela sia in termini di innovazione del regolamento di regata, che di innovazione tecnologica nell'equipaggiamento delle barche (estrattori Elvstrøm) e nell'abbigliamento dei velisti. È il progettista dell'imbarcazione Trapez.
Una curiosità, nelle sue ultime due apparizioni olimpiche gareggiò nella classe Tornado assieme alla figlia Trinne. Anche questo è un piccolo record, in quanto si tratta dell'unica coppia padre/figlia ad aver preso parte ai Giochi olimpici. Nel 1996 è stato nominato "Sportivo danese del secolo".
L'altro record, che detiene assieme a Carl Lewis, Al Oerter e Michael Phelps, consiste nell'essere riuscito a vincere un oro olimpico individuale in quattro edizioni consecutive (dal 1948 al 1960), la prima nella classe Firefly e le altre nella classe Finn. Tuttavia il particolare del cambio di classe velica (la classe finn fu introdotta nel 1950) rende gli statunitensi Oerter (lancio del disco, atletica), Lewis (salto in lungo, atletica) e Phelps (200 metri misti, nuoto) gli unici ad aver conquistato 4 ori olimpici consecutivi nella stessa specialità.