A família Littleton, mais tarde Baronetes Littleton, adquiriram a propriedade de Pillaton como resultado do casamento, no século XV, de Richard Littleton com Alice Winesbury, a herdeira de Pillaton Hall.
O solar com fosso, construído em volta dum pátio quadrangular, constituído por aposentos residenciais e um Grande Salão (Great Hall) para sul, e uma enfiada da cozinha para oeste, tinha acesso pela Portaria (o que resta actualmente) na parte sul. A Portaria, de dois andares, eleva-se a três no centro, sendo encimada por quatro torretas de esquina abobadadas. Ligada à Portaria, para leste, fica a capela antigamente dedicada a São Modwen.
Os Littleton abandonaram o palácio enquanto residência em meados do século XVIII, tendo construído um outro edifício, Teddesley Hall (demolido em 1954) nas proximidades. O velho palácio negligenciado estava em ruínas em 1799, mas a Portaria e a Capela sobreviveram e foram restauradas na década de 1880 por Lorde Hatherton.