Som tenåring spilte Hillman mandolin i flere bluegrassgrupper – som The Scottsville Squirrel Barkers i 1962-63. Bernie Leadon i denne gruppen ble senere med og startet The Eagles, mens Hillman i 1964 ble medlem i The Byrds. Han fikk oppgaven som bassist, selv om han egentlig da bare kunne spille mandolin. Men han lærte seg raskt bass og spilte med The Byrds under deres mest fremgangsrike periode. I 1968 forlot han The Byrds og ble med i gruppen The Flying Burrito Brothers. Her fortsatte han viderutviklingen av countryrocken og spilte her fram til 1972.
Han hadde senere noen mindre countryprojekt utover resten av 1970-tallet. Han startet bandet The Desert Rose Band i 1986 og opplevde da sin mest fremgangsrike periode som artist etter The Byrds. Gruppen ble oppløst i 1994.
