Urkundlich wird das Schloss zum ersten Mal am 12. November 1129 in einer Urkunde des Klosters Kastl erwähnt, in der ein „Heinricus de Perge“ angeführt wird. Ein weiterer Ortsadeliger, „Wernher von Paerge“, wird als Zeuge bei einem Kauf für „den von Moersdorf“ neben den Reichsministerialen Konrad von Sulzbürg und Marquard von Neumarkt genannt und als „dominus“ bezeichnet. Zudem findet man 1390 hier die „Smide zu Berg“, die ein Zweig der Neumarkter waren, begütert. Dies deutet auf einen zweiten Adelssitz in Berg hin.
Im pfalzgräflichenUrbar von 1280 ist ein Amt Paern verzeichnet, zu dem auch Güter in Kadenzhofen und Loterbach gehörten. Am 13. Juli 1318 wird ein Heinrich von Berg als Zeuge bei einem Verkauf des Burggrafen Friedrich von Nürnberg unter den „ehrsamen Rittern“ angeführt. Im Hausvertrag von Pavia vom 4. August 1329 wird die Burg Berg genannt. Als herzogliche Dienstmannen werden 1360 Heinrich der Streitberger, 1370 ein Otto Senft, 1381 Heinrich von Thann und 1390 Hans Strupperberger genannt. 1412 tritt ein Ulrich Pöllinger als Beisitzer im Landgericht Hirschberg auf. Neben den Pöllingern werden im 15. Jahrhundert noch die Voit genannt. Ulrich Pöllinger wurde in den Hussitenkriege erschlagen und seine Söhne „gefangen mitgenommen“, auch ein Kurt Voit von Rosenberg wurde von den Hussiten erschlagen; die Burg wurde 1432 abgebrannt. Berg wurde danach mit dem Pflegamt Haimburg zusammengelegt. Ein Ulrich Pöllinger zu Berg ist 1436 Pfleger zu Haimburg.
Die Voits versuchten im 16. Jahrhundert, die Besitzungen der Pöllinger aufzukaufen. So erwarb Hans Voit zu Berg am 18. April 1539 Güter zu Hartenhof. Dieser Hans Voit, genannt der Ältere, kaufte 1558 von den Gebrüdern Wolf und Kaspar Pöllinger auch den verödeten Sitz zu Berg mit den dazugehörenden Gütern. Am 11. April 1567 übergab er diesen als Erblehen seinem Sohn Hans Voit dem Jüngeren. Mit diesen Gütern wurde am 1. September 1599 Gilg Sebastian Voit zu Berg von Kurfürst Friedrich belehnt. 1651 ist hier sein Nachfolger Max Christoph von Voit zu Berg. Dieser muss 1690 seinen Edelmannsitz verlassen haben, da in diesem Jahr ein Christoph Spitzner als Verwalter der Voitschen Güter auftritt. Seit 1702 ist Bernhard Senser, Hofkammer zu München, Inhaber des Landsassengutes Berg. Ihm folgt Franz Josef Senser nach, der am 18. August 1727 von Kurfürst Karl Albrecht den Lehensbrief erhielt. Die weitere Nachfolge zu Berg traten die Sandizell an und 1750 der kurbayerische Leibarzt Fuchs; dieser verkaufte den Besitz an den oberpfälzer Rentrat Kaspar Weiß, von dem seine Tochter Veronika das Gut erbte. Das Landsassengut Berg wurde 1808 aufgelöst.
Baulichkeit
Die Burg in Berg wurde 1432 in den Hussitenkriegen zerstört, um 1600 kam es zum Wiederaufbau des Schlosses, das dann 1632 im Dreißigjährigen Krieg wieder durch schwedische Soldaten zerstört wurde. 1763 wurde die Gesamtanlage in einzelne Wohngebäude aufgeteilt. Von dem 1896 abgebrochenen Schloss (Wohnturm) sind noch die ehemaligen Wirtschaftsgebäude erhalten. Diese bilden eine zweigeschossige Vierflügelanlage mit einem Walmdach und nördlichen Ecktürmen, im Kern stammen sie aus dem 16. Jahrhundert.