Né Holroyd Anthony Ray-Jones, il était le plus jeune fils de Raymond Ray-Jones(en) (1886–1942), un peintre mort quand il était âgé de seulement 8 mois et de Effie Irene Pearce, qui aurait travaillé comme physiothérapeute. Après la mort de son père, sa mère emmène sa famille de Tonbridge dans le Kent à Little Baddow (près de Chelmsford, Essex), et ensuite d'Hampstead à Londres. Il suivit sa scolarité à l'école catholique Christ's Hospital (Horsham), qu'il détestait[1].
Ensuite, il étudie à l'Ecole de peinture de Londres, où il concentra ses efforts sur le graphisme. Au début des années 1960, il réussit à rentrer à l'université d'art de Yale grâce à ses photographies du nord de l'Afrique prises à travers les vitres d'un taxi[2]. Bien qu'il ne soit âgé que de 19 ans à son arrivée à Yales, Ray-Jones possédait un talent indubitable, et en 1963 il participe au magazine Car and Driver and Saturday Evening Post[3].
Roberts, Russell. Tony Ray-Jones: A Key Figure of British Photography and the British Way of Life, Revealed Afresh. Chris Boot, 2004. (ISBN0-9542813-9-X)