Gården antas å være prestegård og kirkelig gods under hele den katolske tiden, men ble konfiskert av kronen i 1536 ved overgangen fra katolisisme til luthersk lære. Jørgen Hanssøn klagde i juni 1573 på synoden i Stavanger på at han ikke hadde prestegård, men måtte leie "af lægden". Dette ble klaet til kongen og 5. juli 1577 svarer kongen at han skal ha fri gård og Vestre Moland ble igjen prestegård.
Forpakterboligen er opprinnelig oppført på 1600-tallet. en venstre delen ble bygd på ca. 1770 under presten Andreas Bjørn. Bjørn anla også en stor hage med gjerde rundt. Stabburet er fra 1830. Begge deler er fredet sammen med en jordkjeller fra 1831. For øvrig er[1] hovedbygningen fra 1714, og det finnes et stolpehus fra 1830 og et vognskjul som opprinnelig er fra 1850, men ombygget i 1993. Prestegården ble drevet som en større gård av presten sjøl, med kyr og hester og jordene i full bruk. Fra 1880 ble den drevet av forpakter. Hovedbygningen ble restaurert i 1924. Året før var det bygd nytt fjøs, stall og låve. De andre gårdshusene er fra 1830.
Den mest kjente presten som bodde her, var Hans Jacob Grøgaard. Han kom hit i 1811 og flytta til Bergen i 1823. Han var med ved riksforsamlingen på Eidsvoll i 1814, og han var svært interessert i skolen og ga ut en ABC som var i bruk mange år. Flere år deretter Hadde vi Jacob Fridrichsen, han var også en mann som satte spor etter seg. og han hadde et utall av verv i si tjenestetid. Prost Johannes Helle kom hertil i 1923. Han skulle egentlig ha gått av for aldersgrense i 1942, men satt som prest til 1946 for å hindre at en nazistisk prest skulle bli tilsatt. I samme år ble den venstre delen av hovedhuset revet da man frykta ar det var kommet sopp i treverket. Motstanden var stor i Lillesand og Vestre Moland. I 1950 ble det bygd en heilt ny prestegårdsbolig på andre sida av Moelva. Det var et stort og stilig hus etter tidens stil. Den gamle hovedbygningen ble forpakterbolig og ble freda i 1984. Den mest kjente av forpaktere i nyere tid var Jens Gjesdal. Hans sønn Egil frikjøpte seinere Prestegården.[2]
