1985 rekonstruierte er im holländischen Radio die „Birth of the Cool“ Session von Miles Davis 1949.
Elsen studierte 1953 bis 1959 Klavier am Königlichen Konservatorium in Den Haag bei L. Orthel. Als Jazzpianist war er Autodidakt. Er unterrichtete an den Konservatorien in Hilversum und Den Haag, dessen Jazz-Sektion er mit aufbaute, wie er überhaupt maßgeblich an der Integration des Jazz in allen führenden Konservatorien in den Niederlanden in den 1970er Jahren beteiligt war. Er unterrichtete Jazzpiano, Theorie, Ensemble-Spiel und Arrangement und veröffentlichte Bücher über Jazzimprovisation, Jazzpiano und Arrangement (unter anderem Jazz harmony at the piano, 2 Bände). Er arrangierte und komponierte auch für Theater, Film, Radio und Fernsehen.
In den 1960er und 1970er Jahren spielte er viel in Indonesien, war häufig auf Jazzfestivals in Europa und spielte regelmäßig im De Engel van Amsterdam. Zuletzt trat er häufig mit eigenem Trio auf und spielte im Quintett von Ferdinand Povel und John Marshall.