Baliles tillträdde 2006 som direktör för Miller Center vid University of Virginia.[4]
Han träffade sin blivande första fru, Jeannie McPherson, medan han var på Wesleyan, där hon var en doktorand i historia. De skilde sig 1996, och han gifte sig med Robin Deal 2003. Hon överlever honom, liksom två barn från hans första äktenskap, Jonathan Baliles och Laura Baliles Osberger; två styvdöttrar, Katherine Stone Walsh och Danielle Deal Hudak; och fyra barnbarn.[5]