Ta alustas klubikarjääri Viini Austrias, mille noorteakadeemiaga liitus ta 1997. aastal. Klubi põhimeeskonnas debüteeris ta Austria kõrgliigas hooajal 2008–09.
Aastatel 2011–2013 mängis ta kolm hooaega Šveitsi kõrgliiga klubis FC Basel, kellega tuli kõigil neil hooaegadel Šveitsi meistriks.
Aastatel 2013–2016 mängis ta Ukraina kõrgliiga klubis Kiievi Dinamo, kellega tuli Ukraina meistriks hooaegadel 2013–14 ja 2014–15.
2016. aasta augustis sõlmis Dragović viieaastase lepingu Saksamaa kõrgliiga klubiga Leverkuseni Bayer. Hooajal 2017–18 mängis ta laenul Inglismaa kõrgliiga klubis Leicester City.
2021. aasta mais sõlmis ta kolmeaastase lepingu Belgradi Crvena Zvezdaga.