Graves gehört mit Sunny Murray, Andrew Cyrille und Rashied Ali zu der Generation von Avantgarde-Jazz-Drummern, die das Schlagzeugspiel Mitte der 1960er Jahre prägten. 1964 nahm er mit Paul Bley und Giuseppi Logan auf. Weiter arbeitete er mit dem Jazz Composer’s Orchestra und war mit Roswell Rudd, Lewis Worrell und John Tchicai Mitglied des New York Art Quartet, das auch mit Leroi Jones auftrat. Im Duo wirkte er 1966 mit Don Pullen und mit Andrew Cyrille. Dann spielte er bei Albert Ayler (1967–68) und bei Sonny Sharrock. Während er seit 1973 neben Bill Dixon als Lehrer am Bennington College lehrte und als Drummer nur auf wenigen Tourneen in Erscheinung trat, spielte er von 1983 bis 1986 im Perkussionsquartett „Pieces of Time“, dem Don Moye, Andrew Cyrille und Kenny Clarke (später Philly Joe Jones) angehörten. In dieser Zeit spielte er auch mit Sun Ra. In den 1990er Jahren trat er vor allem mit Solo-Performances auf; es entstanden auf John Zorns Label Tzadik zwei Solo-Alben, die nach Richard Cook und Brian Morton „kraftvolle Statements sind, die sein außerordentliches Talent zeigen“. Im Jahr 1991 spielte er mit dem Saxophonisten David Murray im Duo das Album Real Deal (DIW) ein. Auf dem Vision Festival in Brooklyn erhielt Graves 2013 den Preis für sein Lebenswerk.[2]
Mit Bill Laswell nahm er sein letztes Album Space/Time – Redemption (2014) auf.
