Un palais médiéval fut édifié sur le site de Fulham, qui avait précédemment accueilli des colonies romaines.
En 700, l'évêque Waldhere en fit l'acquisition. À compter de cette date, le domaine resta aux mains des évêques de Londres. Du XIe siècle à la fin du XIXe siècle, il est leur résidence de campagne. Situé loin de la ville surpeuplée, il était un lieu de refuge où eux et leur famille pouvaient se retirer pour y trouver repos. Le manoir dominait un vaste domaine dont il était le château.
Pendant le Moyen Âge, les évêques qui en étaient les propriétaires exerçaient sur ces terres les droits seigneurials : ils jouissaient des impôts des paysans qui y cultivaient la terre, et gouvernaient parfois des serfs[1]. En retour, ils entretenaient les infrastructures : notamment, ils réparaient les ponts et recreusaient les fossés régulièrement. Avec l'arrivée de la Réforme protestante, leurs droits se résument à la perception de loyers, puis sont totalement supprimés en 1868.
Du début du XXe siècle à l'an 1973, il devint leur résidence principale.
De nombreux jardiniers se sont succédé au cours de l'histoire pour établir un grand jardin botanique qui est encore visible de nos jours. En partie grâce au dévouement de l'évêque Compton, il a acquis une renommée mondiale de par ses plantes importées depuis des territoires lointains[2].