Als er bereits im Alter von zehn Jahren in Paris an Pocken starb, fielen alle seine Adelstitel an seinen Cousin Charles Stewart, 1. Earl of Lichfield, mit Ausnahme des nachgeordneten englischen Titels Baron Clifton, der auch in weiblicher Linie vererbbar war und an seine Schwester Lady Mary Stewart (1651–1668) fiel. Esmé wurde in der Westminster Abbey in der Heimat bestattet, wo die Monarchie unter König Karl II. inzwischen wiederhergestellt worden war.