Народився 5 травня1994 року в місті Бергамо. Вихованець юнацьких команд футбольного клубу «Аталанта». У дорослому футболі дебютував 2013 року виступами за головну команду клубу, в якій за сезон провів лише одну гру.
Згодом з 2014 по 2016 рік провів по одному сезону в оренді в друголігових командах «Трапані» та «Чезена».
2016 року повернувся до «Аталанти», де відразу став гравцем основного складу. Відіграв за бергамський клуб наступні два сезони своєї ігрової кар'єри. Причому з січня 2017 року грав за свою рідну команду на умовах оренда з «Ювентуса», який викупив його контракт за 15 мільйонів євро? уклав з ним контракт до літа 2021 року, проте залишив набиратися ігрової практики в «Аталанті».
2 серпня 2018 року офіційно став гравцем «Мілана», так й не зігравши за «Ювентус» жодного матчу. Клуби домовилися про обмін Кальдари на Леонардо Бонуччі, який до того виступав за туринців сім років. Футболіст підписав за міланським клубом п'ятирічний контракт із зароітною платою €2,4 млн. за сезон. Утім протягом першого сезону в «Мілані» захисник взяв участь лише у двох матчах — одному у вересні 2018 року в Лізі Європи, після якого вибув на півроку через травму ахіллового сухожилля, та одному у квітні 2019 року в рамках Кубка Італії, невдовзі після якого травма хрестоподібних зв'язок коліна залишила гравця ще на півроку поза футболом. Відновившись від травми, у жовтні 2019 року відновив тренування, утім новий очільник тренерського штабу Стефано Піолі так і надав гравцю шансу продемонструвати себе в офіційних іграх за «россонері».
За такої ситуації Кальдара подав запит аби його було віддано в оренду для підтримання ігрової форми. 12 січня 2020 року було оголошено, що гравець на умовах півторарічної оренди з правом викупу повертається до свого рідного клубу, «Аталанти». Утім керівництво клубу не виявило зацікавленості у викупі контракту Кальдари, і згодом він на правах оренди відіграв ще по сезону за «Венецію» і «Спецію».