Durant les années 1980, John Parish exerçait dans un groupe nommé Automatic Dlamini ayant une composition changeante et incluant même PJ Harvey de 1988 à 1991. Automatic Dlamini enregistra trois albums : The D is for Drum (1987), Here Catch Shouted his Father (1990 - non commercialisé), et From A Diva to a Diver (1992). Durant cette période Parish commence aussi sa carrière de producteur-enregistreur en travaillant avec quelques groupes britanniques comme The Chesterfields et The Brilliant Corners avant de coproduire l'album de PJ Harvey To Bring You My Love (1995), sur lequel il joue aussi de la guitare, de la batterie, des percussions et de l'orgue[1].
Parish part en tournée avec PJ Harvey en 1995 et 1996, ils enregistrent ensemble Dance Hall at Louse Point[2]. Cet album atteint la 46e place des charts britanniques[3], et la 178e des charts américains[4]. En 1997, il produit l'album Low Estate du groupe 16 Horsepower. En 1997-1998, il joue aussi sur l'album suivant de PJ Harvey Is This Desire (1998), puis écrit et enregistre la même année, la bande originale du film belgeRosie de Patrice Toye, pour lequel il reçoit le Prix spécial du Jury à la Biennale de la Musique de Film à Bonn en 1999. Celle-ci sortira en CD en 1998 et inclura une chanson interprétée par Alison GoldfrappPretty Baby. Il partira en tournée pour jouer cette musique accompagné par un orchestre en 1999. L'année suivante, il produit l'album de Giant SandChore of Enchantment (2000)[1], et apparaît sur l'album de GoldfrappFelt Mountain.
Il continuera sa carrière en cocomposant l'album Souljacker (2001) de Eels, et produisant Sparklehorse et Tracy Chapman. Il a aussi collaboré avec un certain nombre d'artistes européens, produisant par exemple des albums du Français Dominique A, des Belges Thou, des SuissesMagicrays, des ItaliensAfterhours, Cesare Basile, et la diva italienne Nada. En parallèle, il enregistre et défend sur scène sa propre musique, travaillant avec un orchestre symphonique pour ses albums How Animals Move (2002)[5]. et Once Upon A Little Time (2005)[6].
En 2006-2007, il retourne en studio pour travailler sur l'album White Chalk de PJ Harvey. Une autre collaboration des deux artistes verra le jour en : l'album s'intitule A Woman a Man Walked By. En 2007, il interprète une reprise de la chanson Vampiring Again de Califone, sortie par le label Thrill Jockey, commémorant les quinze ans du label. Cet album comprend aussi une reprise de la chanson Boxers de Parish par Howe Gelb. Parish repart en tournée avec PJ Harvey de 2009 à 2012.
Les 24 et , il accompagne PJ Harvey sur la scène de l'Olympia, en France. En 2013 sort l'album Screenplay qui compile des extraits de plusieurs de ses bandes originales de films (parmi lesquelles Little Black Spiders et Nowhere Man de Patrice Toye, L'Enfant d'en haut d'Ursula Meier, Plein sud de Sébastien Lifshitz)[1]. L'année suivante sort également l'album du collectif Playing Carver dont il est l'un des membres, qui réunit autour de l'univers de l'écrivain américain Raymond Carver des musiciens d'horizons divers : Marta Collica (membre de son groupe de scène), Gaspard LaNuit et les musiciens du groupe parisien Atlas Crocodile (Boris Boublil, Marion Grandjean, Jeff Hallam, Csaba Palotaï).
L'année 2016 le voit de nouveau collaborer avec PJ Harvey, dont il co-produit avec Flood l'album The Hope Six Demolition Project et qu'il accompagne ensuite en tournée.