Ta alustas klubikarjääri 2008. aastal Bordeaux' Girondinsis. Karjääri esimesed kaheksa aastat veetis ta Prantsusmaa klubides. Lisaks Bordeaux' Girondinsile mängis ta veel Angersis, Nancys, Reimsis ja Bastias.
2016. aasta juulis sõlmis ta kolmeaastase lepingu Inglismaa esiliiga klubiga Fulham. Hooajal 2017–18 kindlustati pääs kõrgliigasse. Esimese värava Inglismaa kõrgliigas lõi Ayité 9. märtsil 2019 mängus Leicester City vastu.
Aastatel 2019–2021 mängis ta Türgi klubis Gençlerbirliği.
2021. aasta augustis naasis ta Prantsusmaale, sõlmides kaheaastase lepingu Valenciennes'iga.