Hij begon zijn carrière op de weg, en viel al in zijn eerste seizoen bij de beroepsrenners op met tweede plaatsen in Parijs-Nice en de Waalse Pijl. Gaandeweg zijn carrière ging hij ook veldrijden om het hele jaar in competitie te kunnen blijven. Al snel bleek hij in die discipline bij de wereldtop te horen en de laatste jaren van zijn carrière hield hij zich nog vrijwel uitsluitend met het veldrijden bezig.
Adrie van der Poel werd in zijn carrière tweemaal op doping betrapt. In 1983 liep hij tegen de lamp wegens strychninegebruik.[1] Het excuus dat hij opvoerde was: 'Ik heb duivenvlees gegeten, en die duivenmelkers drogeren hun beesten, dus vandaar.' In 1984 werd hij bij de Ronde van Sicilië betrapt op het verboden middel efedrine. Dit middel was afkomstig van een hoestdrank die hij genomen had tegen een verkoudheid. Hij werd voor drie maanden geschorst en voelde zich gepakt door de Internationale Wielrenunie.[2]
Van der Poel is de schoonzoon van de beroemde Franse wielrenner Raymond Poulidor. Hij is getrouwd met diens jongste dochter Corinne. Zijn broer Jacques was beroepswielrenner van 1986 tot en met 1992. Zijn zonen Mathieu en David zijn eveneens wielrenner. Adrie en Mathieu zijn de enige vader en zoon die de gele trui in de Tour de France hebben gedragen.