Swoją karierę piłkarską Sylla rozpoczął w klubie Horoya AC z Konakry. W 2011 roku awansował do kadry pierwszego zespołu i wtedy też zadebiutował w nim w gwinejskiej ekstraklasie. W latach 2011 i 2012 wywalczył z nim dwa tytuły mistrza Gwinei z rzędu.
Latem 2012 roku Sylla przeszedł do Toulouse FC. Swój debiut w Ligue 1 zaliczył 4 maja 2013 w zwycięskim 4:2 domowym meczu z Lille OSC. W sezonie 2013/2014 stał się podstawowym zawodnikiem klubu z Tuluzy.