Ta alustas klubikarjääri Sloveenia klubis Domžale, mille koosseisus debüteeris ta Sloveenia kõrgliigas 2003. aastal.
2004. aastal liitus ta Itaalia kõrgliiga klubiga Udinese. Enne seda, kui ta sai hooajal 2007–08 Udinese põhiväravahiks, mängis ta laenul teistes Itaalia klubides Treviso, Rooma Lazio ja Rimini.
2012. aasta juulis siirdus ta Milano Interi. Alates hooajast 2012–13 on ta olnud Interi põhiväravavaht.
Hooaegadel 2010–11, 2012–13 ja 2018–19 on Handanović valitud Itaalia kõrgliiga sümboolsesse koosseisu ning samadel hooaegadel lisaks liiga hooaja parimaks väravavahiks. Hooajal 2010–11 tõrjus Handanović Itaalia kõrgliigas kuus penaltit, millega jagab liiga rekordit. Kokku on 2020. aasta juuli seisuga liigas tõrjunud 24 rekordit, millega ta jagab koos Gianluca Pagliuca Itaalia kõrgliiga rekordit.
