Peters war das älteste von zwei Kindern von Frederick Romer Peters und Claire Adelaide Peters. Seine Schwester, Margedant Peters, war die Ehefrau von S. I. Hayakawa, dem neunten Präsidenten der San Francisco State University, der später den US-Bundesstaat Kalifornien im Kongress vertrat. Peters ging auf das Evansville College und besuchte danach für zwei Jahre das Massachusetts Institute of Technology.[1]
1935 heiratete Peters die Stieftochter von Wright, Svetlana Hinzenberg Wright (1917–1946), mit der er zwei Söhne bekam. Svetlana starb mit einem der Kinder 1946 bei einem Verkehrsunfall. Nach dem Tod Wrights 1959 wurde Peters Vorsitzender der Taliesin Associated Architects. 1970 heiratete er Swetlana Allilujewa, die Tochter des sowjetischen Diktators Josef Stalin. Das Paar bekam eine Tochter, Olga. Die Ehe wurde 1973 geschieden. 1985 wurde er Vorsitzender der Frank Lloyd Wright Foundation und hatte diesen Posten bis zu seinem Tod im Jahre 1991 inne.
