1300-luvulla imperiumi koki väliaikaisen taantuman. VaikkaHafsidit onnistuivat alistamaan hetkellisesti Tlemcenin Abdalwidien imperiumin, heidät itsensä valloitti 1347 ja 1357 välisenä aikana kahdesti Marokonmerinidit. He eivät kuitenkaan onnistuneet päihittämään beduiineja, joten Hafsidit pystyivät jälleen ottamaan imperiuminsa haltuunsa. Ruttoepidemioiden aiheuttama merkittävä kuolleisuus heikensi Hafsidien valtaa samaan aikaan entisestään.
Hafsidien vallan alla 1300-luvulla merirosvous kristittyjä laivoja kohtaan vahvistui, eritoten Abd al-Aziz II:n (1394–1434) valtakaudella. Merirosvouksen tuotot käytettiin suuriin rakennustöihin ja taiteiden ja kulttuurin tukemiseen. Kuitenkin, merirosvous aiheutti vastatoimia Aragoniasta ja Venetsiasta, jotka hyökkäsivät useaan ottseeseen Tunisian rannikkokaupunkeihin. Utmanin (1435–1488) valtakaudella Hafsidit saavuttivat viimeisen huippukautensa karavaanikaupankäynnin kehityttyä Saharan halki, sekä Egyptiin, sekä kaupallisen merenkäynnin kehityttyä Venetsian ja Aragonian kanssa. Beduiineista ja imperiumin kaupungeista tuli laajalti itsenäisiä, vain Tunisin ja Constantinen jäädessä Hafsidien haltuun.
1500-luvulla Hafsidit jäivät Espanjan ja Osmanien valtakunnan tukemien Corsairien välisen valtataistelun jalkoihin. Jälkeenmainitut valloittivat Tuniksen 1574 ja syrjäyttivät Hafsidit, jotka olivat toisinaan myöntyneet jo Espanjan käskynalaisuuteenkin.