Borgen er anlagt på en borgbanke, der var omgivet af voldgrave. Borgbanken blev anlagt oven på en stendysse fra omkring 3500 f.v.t. Det er et lille borganlæg fra 1300-tallet.[2]
Der blev foretaget arkæologiske udgravninger af Blafferholm af Nationalmuseet og Moesgaard Museum i 2012, som den sidste del af et større projekt, der omhandlede alle Samsøs fem middelalderborge.[2] Stedet var blevet udgravet i 1800-tallet, hvor man havde fundet stendyssen, og man havde derfor ikke ventet at finde så meget. Ved udgravningerne fandt man dog mønter, keramik og en del af en seglstampe. Seglstampet var udsmykket med et våbenskjold under en tøndehjelm, og det har tilhørt en adelsmand ved navn Markvard Skinkel fra Slesvig. Han nævnes i skriftlige kilder fra 1326 og frem til sin død i 1343.[2][3] Der blev også fundet en del metalgenstande, heriblandt spidser fra armbrøstbolte, et knivsblad og dele fra en lås.[1]
