Il passe sa jeunesse dans le ranch de son grand-père à Cuero, où les paysages lui inspirent le cadre de ses futurs ouvrages. Diplômé de l'Université Rice à Houston en 1942[2], il est mobilisé lors de la Seconde Guerre mondiale, mais interrompt son service à la suite d'une blessure causée par l'explosion d'une grenade japonaise sur l'île de Saipan[2]. Il reprend ses études à la fin de la guerre et obtient un master à l'Université Columbia à Manhattan en 1948.
Après avoir vécu pendant une dizaine d'années à New York, puis en Espagne, il revient finalement au Texas en 1955[3], souhaitant renouer avec ses racines afin de faciliter son métier d'écrivain[2] tout en portant assistance à son père malade. En novembre 1957, il se lance dans un périple de trois semaines en canoë sur le fleuve Brazos[2]. Le récit de son voyage est ensuite retranscrit et publié sous la forme d'un article dans le magazine Holiday. En 1960, il publie son premier livre, inspiré de son aventure, qui devient son œuvre la plus célèbre, Goodbye to a River, considéré par l'écrivain Stephen Harrigan comme un « classique » de la littérature américaine[3]. L'année suivante, John Graves obtient le Carr P. Collins Award de l'Institut de Lettres du Texas, ainsi qu'un National Book Award[4].
En 1970, John et sa famille s'installent dans une petite exploitation agricole à Glen Rose, qu'il baptise Hard Scrabble. Sa description de la ferme et de la vie rurale est détaillée dans Hard Scrabble: Observations on a Patch of Land, publié en 1974.
John Graves décède le à son domicile de Glen Rose, âgé de 92 ans. Marié, il était père de deux filles, Helen et Sally[2].
