Phillips begann unter dem Eindruck der Musik von Jimmy Smith mit dem Orgelspiel, studierte eine Zeitlang Musikpädagogik an der DePaul University in Chicago, wo er Privatunterricht bei Ahmad Jamal hatte. In den 1960er und 1970er Jahren spielte er zunächst bei Eddie Harris, dann in New York City mit Lou Donaldson, Nicky Hill, Houston Person (Goodness!) und Gene Ammons (The Boss Is Back). 1969 entstand sein Debütalbum bei Prestige Records; es folgte eine Reihe weiterer LPs, bis er sich 1980 bedingt durch eine Krebserkrankung von der Musikszene zurückzog. Anfang der 1970er Jahre konvertierte er zum Islam und trat auch unter dem Namen Jalel Rushdan auf. Er lebte in Los Angeles und San Diego, wo er noch gelegentlich auftrat und unterrichtete. Phillips wirkte im Laufe seiner Karriere auch bei Aufnahmen von Rusty Bryant, Billy Butler, Ivan „Boogaloo Joe“ Jones, Willis Jackson, Etta Jones und Bernard Purdie mit.
Phillips betätigte sich auch als Komponist; er schrieb die Nummern Sure Nuff, Sure Nuff und Make It Plain sowie für Houston Person Kittatian Carnaval und Preachin’ and Teachin’.
