Oyuncu 25 Aralık 2003 tarihinde Joaquin Phoenix'in kardeşi aktris Summer Phoenix ile nişanlanmış ve çiftin 31 Mayıs 2004'te Indiana August isminde bir oğulları olmuştur. Çift daha sonra 3 Haziran 2006'da evlenmiştir.
Cinsel Taciz Olayı
2010 yılında, eski meslektaşlarından ikisi Affleck'e karşı dava açtı. "Hala Buradayım" filminin yapımcılarından Amanda White, "cinsel taciz" ve "sözlü sözleşmenin ihlali" de dâhil olmak üzere birçok şikâyetle Affleck'e 2 milyon dolarlık dava açtı. Affleck'in Spacehog gitaristi Antony Langdon'a kendisini varlığında göstermesi için talimat verdiğini, ilerleyen yaş ve doğurganlık hakkında "uygunsuz bir şekilde" konuştuğunu iddia ederek, iş yerinde sayısız "davetsiz ve istenmeyen cinsel ilerlemeyi" detaylandırdı. White, Affleck'in misilleme sırasında ücreti de dâhil olmak üzere üretim sözleşmesinin şartlarına uymayı reddettiğini iddia etti.
Filmin görüntü yönetmeni Magdalena Gorka, Affleck'e "duygusal sıkıntıların kasıtlı olarak ihlali" ve "sözlü sözleşmenin ihlali" de dâhil olmak üzere birçok şikâyetle dava açtı.
Affleck iddiaları reddetti ve iddiacılara karşı çıkmakla tehdit etti; avukatı her iki iddiayı da "toplam kurgu" ve "tamamen uydurma" olarak nitelendirdi.
Affleck, 2016 yılında The New York Times ile konuşurken iddiaları ele aldı; "Herkesin memnuniyetine göre ayarlandı. Yaralandım ve üzüldüm - eminim ki hepsi vardı - ama ben bittim. Bu talihsiz bir durumdu." Karşılaştığı eleştirilere cevap veren Affleck, "Bu konuda yapabileceğim gerçekten hiçbir şey yok." Affleck, 2018 töreninde En İyi Kadın Oyuncu Oscar'ını sunmaktan da men edildi.