Bollerup første ejer var Bulle, der gav stedet sit navn (Bullathorp, nævnt 1310). Siden var det i 1200-tallet sæde for slægten Due, men kom i 1300-tallet ved ægteskab til slægten Thott. I 1401 blev det solgt i til slægten Krognos på Krapperup. Da denne slægt uddøde i 1573, kom Bollerup først slægten Gøyes eje, i 1624 til et medlem af slægten Lycke og siden i 1640'erne til slægten Rantzau.