Dopo Margarito, tramite una sua figlia, la contea passò a un ramo della famiglia Orsini fino al 1325, quando fu brevemente degli Angioini e poi, dal 1357, della famiglia Tocco. I Tocco usarono la contea come un trampolino di lancio per la loro acquisizione di terre nel continente greco, e riuscirono a ottenere il controllo sul Despotato dell'Epiro dal 1411 in poi. Tuttavia, di fronte all'avanzata dei turchi ottomani, persero i loro territori di terraferma e furono nuovamente ridotti alla contea palatina, che tennero fino al 1479, quando questa fu divisa tra Venezia e gli Ottomani: Zante fu posta sotto il dominio diretto di Venezia mentre Cefalonia rimase sotto il dominio turco per 21 anni.