O'Rourke fou membre de Illusion of Safety, Gastr Del Sol i Sonic Youth. A partir de 1999, tocava el baix elèctric, guitarra i sintetitzador amb Sonic Youth, a més d'intervenir en la gravació i mescla del grup. Es va retirar com a membre de ple dret a finals del 2005, però segueix interpretant amb ells en alguns dels seus projectes laterals.
O'Rourke ha publicat molts àlbums sota el seu propi nom, incloent Bad Timing, Eureka, Insignificance, The Visitor, entre altres. Aquests discs tenen noms de pel·lícules del director britànic Nicolas Roegen, a excepció de The Visitor.
Obres en pel·lícules
Va exercir com a assessor musical per a la pel·lícula de 2003,School of Rock.
Els seus primers tres àlbums de llarga durada per Drag City porten el nom de tres pel·lícules successives del director Nicolas Roeg: Bad Timing, Eureka, i Insignificance. El seu quart àlbum de la Ciutat d'Arrossegament, El Visitant, és el nom d'un àlbum que apareix en L'home Roegen que va caure a la Terra, gravat pel protagonista de la pel·lícula Newton Thomas Jerome.
Va anotar tres hores llargues Koji Wakamatsu la pel·lícula de les de l'Exèrcit Roig el 2007 [2].
Discografia en solitari
The Visitor (Drag City, 2009) Dedicated to Derek Bailey.