Caleb Casey McGuire Affleck-Boldt néven született a Massachusetts állambeli Falmouth-ban. Szülei Christopher Anne, a kerületi iskolavezetés egyik tisztviselője, illetve tanár, valamint Timothy Byers Affleck, gyógyszerész, szociális munkás, gondnok, autószerelő, csapos és a Theater Company of Boston volt színésze.
Az 1990-es évek végén barátja, Joaquin Phoenix révén ismerte meg Summer Phoenix színésznőt. 2000-ben kezdtek el randevúzni, együtt szerepeltek a Férjfogó (2000) című filmben, valamint a This Is Our Youth színdarab 2002-es előadásán. 2004 januárjában jegyzeték el egymást, 2006. június 3-án összeházasodtak. Két gyermekük született: Indiana August (2004 májusa) és Atticus (2007 decembere).
2017. augusztus 1-jén Phoenix beadta a válókeresetet, „kibékíthetetlen ellentétekre” hivatkozva, válásukat egy évvel később véglegesítették. Affleck elmondása alapján békésen zajlott le válásuk és volt feleségével azóta is barátok maradtak.[forrás?]
2021 januárja óta Affleck Caylee Cowan színésznő partnere.
Ez a szócikk részben vagy egészben a Casey Affleck című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.