C'est Fraser qui, consulté comme conseiller artistique par McCartney, recommande de confier la conception graphique des albums Sgt Pepper Lonely Hearts Club Band et The Beatles, à des artistes de la galerie[5]. En 1967, Fraser, Mick Jagger et Keith Richards, dans la résidence de ce dernier, sont arrêtés par la police pour consommation illicite de stupéfiants. Fraser prit la défense des musiciens, assumant l'entière responsabilité, et fut condamné à six mois de travaux d'intérêt général. Après cet épisode, sa galerie déclina, et ferma en 1969. Selon Keith Richards, qui vivait à cette époque dans l'appartement de Fraser, c'est là qu'il composa la chanson Gimme Shelter[6].
Dans les années 1970, Fraser quitte Londres et part sur les routes de l'Inde[4].
Atteint du sida, il est pris en charge par le Terrence Higgins Trust et meurt en janvier 1986, dans l'appartement londonien de sa mère[4].
En , la branche londonienne de la Pace Gallery(en) a présenté A Strong Sweet Smell of Incense, A Portrait of Robert Fraser, une exposition qui a pris comme source d'inspiration le personnage et la carrière de Robert Fraser.