Whitten møtte blant andre Billy Talbot og Ralph Molina i doo-wop-gruppa Danny & The Memories. Etter å ha spilt inn singelen «Can't Help Loving That Girl of Mine», flyttet kjernemedlemmene i bandet til San Francisco hvor de ble med i et folk-psykedelisk rock band kalt The Psyrcle. Her spilte Whitten gitar, Molina trommer og Talbot bass og piano.
I 1967 ble også brødrene George og Leon Whitsell med på gitar og vokal, samt fiolinist Bobby Notkoff. Denne sekstetten kalla seg da The Rockets. De signerte på det uavhengige selskapet White Whale Records, og arbeidet med produsenten Barry Goldberg for debutalbumet på midten av 1968. Albumet solgte dårlig og gruppen så ut til å gå i glemmeboken, men dette ble endret ved et møte på klubben Whisky A Go-Go. Her møtte de Neil Young, som nettopp hadde forlatt gruppen Buffalo Springfield og spilt inn sitt første soloalbum. Young begynte å jamme sammen med The Rockets og uttrykte senere at han ønskte å arbeide i studio med Whitten, Molina og Talbot. Trioen aksepterte dette, under forutsetning av at de kunne videreføre arbeidet i The Rockets. Young godtok dette, men ga dem en øvingsplan som gjorde det umulig. De ble først kalt War Babies av Young, før de tok navnet Crazy Horse.
Whitten spilte gitar og sang på Youngs andre album, Everybody Knows This Is Nowhere, som er kreditert Neil Young with Crazy Horse. Selv om Whittens rolle var å akkompagnere, sang han åpningssporet «Cinnamon Girl» sammen med Young, og på de to episke sangene «Down By the River» og «Cowgirl in the Sand» gle deres gitarspill over i hverandre. Disse sangene skulle få innvirkning på grunge-bølgen i 1990-åra og er blant de mest kjente av Youngs sanger.
På slutten av 1960-tallet begynte Whitten å misbruke heroin og ble tidlig avhengig. Han deltok i de innledende arbeidet på Youngs neste album, After the Gold Rush, hvor han deltar på «Oh Lonesome Me», «I Believe in You» og «When You Dance I Can Really Love». Whitten og resten av Crazy Horse ble kastet ut fra innspillingen på grunn av hans tunge rusmisbruk. På denne tiden skrev og spilte Young inn sangen «The Needle and the Damage Done», og denne sangen var en direkte referanse til Whittens misbruk og hvordan hans talent ble ødelagt av dette.
Crazy Horse ble en kvintett i 1970 og de spilte inn sitt første album, som kom ut tidlig i 1971. Dette albumet inneholder fem sanger av Whitten. En av disse, «(Come On Baby Let's Go) Downtown», inkluderte Yonug senere på albumet Mirror Ball, innspilt sammen med Pearl Jam, mens Whittens mest kjente sang «I Don't Want to Talk About It» er en sår ballade som senere er spilt inn av en rekke artister.
Whittens rusmisbruk gjorde det umulig for ham å fortsette i Crazy Horse, og han ble kastet ut av Talbot og Molina. I oktober samme år ble han imidlertid spurt av Young om å delta på rytmegitar på den kommende turneen etter Harvest-albumet. Whitten møtte opp på øvelsen hjemme på Youngs ranch i San Mateo County, sør for San Francisco, men Whitten klarte ikke å henge med og ble sparket ut av bandet. Han døde samme kveld han kom tilbake til Los Angeles av en overdose av vodka og valium, som han tok for en knebetennelse.
Diskografi
Surfin' Granny, 'A' Side. Mirror Mirror, 'B' Side. Danny and the Memories, Single, Liberty label 1963 (ikke utgitt)
Can't Help Loving That Girl of Mine, 'A' Side. Don't Go, 'B' Side. Danny and the Memories, Single, Valiant label 1964
Baby Don't Do That, 'A' Side. 'B' Side, Ukjend. The Psyrcle, Single, Lorna label 1966 (ikke utgitt)
The Rockets, The Rockets, Album, White Whale label, 1968
Hole In My Pocket, The Rockets, Single, White Whale label, 1968 (promo)
