Neki ga pamte po ulogama u filmovima poput The Accountant, Daredevil, Armageddon, Jersey Girl, Gigli, a neki po turbulentnoj romantičnoj historiji koja se može svesti na „važno je zvati se Jennifer“ – Jennifer Garner i Jennifer Lopez. No, Ben Affleck u svojoj ljubavnoj historiji nije stao samo na njima.
U tinejdžerskim danima, piše Cosmopolitan, Affleck je bio zaljubljen u Cheyenne Rothman, svoju ljubav iz ljetnog kampa, a veza je trajala do 1997. Godinu poslije upoznao je glumicu Gwyneth Paltrow i prohodali su nakon uloga u filmu Shakespeare in Love. Do 2000. godine prekidali su i mirili se, a 2001. upoznao je Jennifer Lopez.
Par se upoznao na setu filma Gigli i brzo počeo izlaziti. Lopez je dobila zaručnički prsten od 6,1 karat, ali vjenčanje je otkazano nekoliko dana prije zakazanog datuma u septembru 2003. Zbog medijske pažnje, odlučili su odgoditi vjenčanje, a do januara 2004. potvrdili su prekid.
Iste godine Affleck započinje vezu s drugom Jen – Jennifer Garner, koju je upoznao na setu filma Daredevil 2002. Prosidba se dogodila u aprilu 2005., a vjenčanje u junu iste godine. Par je dobio troje djece: Violet, Seraphinu i Samuela. Do 2015. godine kružile su glasine da glumac vara svoju suprugu s dadiljom, što je njihov predstavnik demantirao, ali razvod je uslijedio u lipnju 2015.
Jennifer Garner je kasnije pojasnila da dadilja nije bila razlog razvoda: “Bili smo razdvojeni mjesecima prije nego što sam ikad čula za dadilju. To nije bila stvar koja je utjecala na naš brak.” Par se službeno razveo 2018., ali su ostali bliski prijatelji i zajedno odgajali djecu.
Affleck je u julu 2017. započeo vezu s Lindsay Shookus, koja je trajala do augusta 2018., a potom je viđen s Playboy modelom Shaunom Sexton. Veze su bile kratke, a Affleck se fokusirao na trijeznost, porodicu i projekte.
Zatim upoznaje Anu de Armas na setu filma Deep Water, a veza traje do januara 2021., prekinuta preko telefona. Razlog je navodno bio različit stav oko djece. Affleck ih nije želio, a de Armas je željela porodicu.
Samo nekoliko mjeseci kasnije, u maju 2021., ponovo je „Bennifer“ – Affleck i J.Lo. Veza je obnovljena, a već 2022. pala je zaruka i vjenčanje. No, u maju 2024. počele su glasine o prekidu; J.Lo se pojavila sama na Met Gali, ljeto su proveli odvojeno, a glumac se iselio iz zajedničkog doma. Zahtjev za razvod Lopez je podnijela 20. augusta, na njihovu drugu godišnjicu.
Šuškalo se da Affleck provodi vrijeme s kćerkom RFK Jr., Kick Kennedy, ali njegov predstavnik je demantirao te glasine. Trenutno ga u javnosti nisu povezivali ni s kim.