John Nielsen wurde in den 1990er Jahren durch seine Erfolge bei den 24 Stunden von Le Mans in seiner Heimat Dänemark populär. Noch vor Tom Kristensen war er der erste Däne, der den Langstreckenklassiker gewinnen konnte. Vor seinem Wechsel zu den Sportwagen war er im Monoposto einer der besten Nachwuchspiloten seiner Generation. Er gewann 1982 die deutsche Formel-3-Meisterschaft und siegte 1984 beim Formel-3-Rennen in Macao, einer Rennveranstaltung, die viele Piloten als Sprungbrett in die Formel 1 nutzen konnten (ein Jahr davor gewann dort Ayrton Senna). Dennoch schaffte es Nielsen nie in ein Formel-1-Cockpit. 1985 und 1986 fuhr Nielsen für das Ralt-Werksteam in der Formel-3000-Meisterschaft. Er erzielte dort nur einen Sieg: Er gewann den Curaçao Grand Prix 1985 in Willemstad, der nicht zur Meisterschaft zählte.
Im Sportwagen gehört Nielsen seit drei Jahrzehnten zur Spitzenklasse. Achtzehnmal war er bis 2008 in Le Mans am Start. 1990 krönte er seine Karriere mit einem Sieg, am Steuer des Jaguar XJR-12 gewann er zusammen mit Martin Brundle und Price Cobb.