Få hundrede meter fra gården ligger voldstedet fra det tidligere Skjern Slot, som kendes tilbage til 1300-tallet hvor Peder Vendelbo, der var marsk for Christoffer 2., ejede det. Det menes at det blev ødelagt af kejserlige tropper i 1626 efter Christian 4.s nederlag i Trediveårskrigen. Voldstedet har tidligere været en ø i en nu udtørret sø. Det firefløjede slot var opført af munkesten på et fundament af nedrammede egepæle.
RunestenenSkjern 2 blev fundet i 1843 i fundamentet til en trappe i ruinen af Skjern Slot.
Den nuværende gård blev opført i slutningen af 1600-tallet af sten fra det gamle slot.