Ta alustas klubikarjääri Serbia klubis FK Partizan. Klubi põhimeeskonnas debüteeris ta Serbia kõrgliigas hooajal 2018/19.
2020. aasta talvel liitus ta Prantsusmaa kõrgliigaklubiga Monaco, kuid jäi hooaja lõpuni laenule Partizani. Monaco meeskonnas Pavlović järgmistel hooaegadel põhimängijaks ei saanud, saades kirja 12 mängu. Hooaja 2020/21 teises pooles oli ta laenul Belgia kõrgliigaklubis Cercle Brugge ja hooaja 2021/22 teises pooles Šveitsi kõrgliigaklubis FC Basel.
2022. aasta juulis sõlmis ta viieaastase lepingu Salzburgi Red Bulliga.[1]