Szülei Beth Ann O'Hara[7][8] és Donald Silverman voltak. Szülei elváltak, majd újra összeházasodtak.[9] Három nővére van: Jodyne Silverman forgatókönyvíró, Sarah Silverman színésznő/humorista és Susan Silvermanrabbi.[9][10] Testvére, Jeffrey Michael 3 hónapos korában elhunyt.[11]