È stato tra i componenti dei Depeche Mode. Successivamente ha creato anche il progetto sperimentale di musica elettronica Recoil nel 1986, come parallelo dei Depeche Mode. All'abbandono di questi ultimi (1995), Wilder si è dedicato esclusivamente a Recoil. Wilder ha prodotto e arrangiato brani anche per i Nitzer Ebb e i Curve.
Terzogenito di Albert e Kathleen Wilder, proviene da una famiglia medio-borghese appassionata di musica. Impara a suonare il piano all'età di 7 anni; in seguito anche il flauto, seguendo il volere dei genitori decisi a dare un'educazione musicale classica ai tre figli maschi. Grazie alle sue capacità musicali, fonderà alcuni gruppi musicali e parteciperà ad altri, come gli Hitmen.
Nel 1979 è ospite dei The Korgis nel loro primo album omonimo, in qualità di tastierista e corista nel brano di successo If I Had You, piazzatosi al 13º posto della UK Singles Chart.
Depeche Mode
Dopo la dipartita dal gruppo di Vince Clarke (1981), i Depeche Mode lasciarono un annuncio sul giornale specialistico Melody Maker, abbastanza curioso per una band che aveva ottenuto già un discreto successo internazionale: "Cercasi tastierista per un complesso consolidato - astenersi perditempo". Fu l'occasione giusta e vincente per Wilder che fu subito notato per le sue non indifferenti doti musicali. Scritturato inizialmente come turnista, diventò successivamente a tutti gli effetti un componente ufficiale dei Depeche Mode. Durante tale periodo apparve nei video dei singoli estratti dall'album A Broken Frame.
Il 1º giugno 1995 (il giorno del suo trentaseiesimo compleanno) Wilder abbandonò i Depeche Mode, spiegando come non fu più in grado di riconoscere l'entusiasmo e il lavoro di squadra di un tempo, nel momento di maggiore crisi, soprattutto a causa dei problemi con la droga del cantante Dave Gahan.
Il 17 febbraio 2010, in occasione del concerto di beneficenza dei Depeche Mode alla Royal Albert Hall di Londra, Wilder è tornato ad esibirsi suonando il pianoforte in Somebody, mentre l'anno dopo ha realizzato un remix di In Chains per l'album di remix dei Depeche Mode Remixes 2: 81-11. Il 26 maggio 2022 ha reso omaggio, tramite i suoi profili di Facebook e Instagram, all'ex compagno di band Andrew Fletcher, scomparso prematuramente a 60 anni.
Nel periodo successivo a Black Celebration, Wilder fondò i Recoil, progetto prevalentemente incentrato sulla musica elettronica. Al 2007 Wilder ha realizzato e pubblicato sei album.