Foster nació en Boston, Massachusetts, hijo de Stephen Foster, un restaurador.[1] Su hermano mayor, Ben Foster, es también actor. Este último describió a sus padres como "almas libres, hippies anti-Vietnam". Se trasladaron a la pequeña ciudad de Fairfield antes de que él naciera, y después su casa en Boston fue saqueada mientras ellos estaban presentes.[2] Foster es Judío; su abuelo paterno emigró de Rusia escapando del Pogroms.[3][2]
El 20 de junio de 2015, Foster se casó con Chelsea Tyler, hija del músico Steven Tyler.[4][5] Juntos formaron la banda Kaneholler.[6][7] Su primer hijo, Vincent Frank, nació el 21 de febrero de 2020.[8]