Im 12. Jahrhundert war das Gelände des heutigen Schweinsberg noch Eigentum derer von Merlau und gelangte durch die Heirat des Ritters Guntram Vogt mit einer Schwester des Ritters Eberhard von Merlau in den Besitz der späteren Schencken zu Schweinsberg. Etwa um 1230/31, zur Zeit der heiligen Elisabeth von Thüringen, erbaute ein Sohn Guntrams, der landgräflich-thüringische Burgmann Guntram von Marburg und von Grünberg, eine Burg auf dem kleinen Basaltkegel. Guntram nannte sich auch „von Schweinsberg“ und wurde um 1249 von Herzogin Sophie, der Mutter des Landgrafen Heinrich I. von Hessen, zum hessischen Erbschenken bestellt.
Um 1482 wurde die Burg durch den landgräflichen FestungsbaumeisterHans Jakob von Ettlingen ganz erheblich erweitert und den neuesten Erfordernissen angepasst. Eine gewaltige äußere Zwingermauer entstand, gesichert durch drei halbrund vorspringende Türme und den mächtigen Hexenturm. Das Haupthaus der Burg, die Kemenate, wurde zwischen 1459 und 1497 durch Conrad Schenck zu Schweinsberg, Amtmann zu Lich, erbaut. Dem Haupteingang wurde eine rechteckige Vorburg vorgelagert, deren Eingang von einem runden Wehrturm gedeckt wurde und die heute noch erhalten ist.
Im Dreißigjährigen Krieg wurde ein Teil der Befestigungsanlagen durch einen Brand und die Explosion des Pulverturms zerstört. Daraufhin verfügte Landgräfin Amalie Elisabeth die völlige Schleifung aller Befestigungswerke der Burg, trotz Bemühungen der Schencken, ihre Stammburg vor dem Untergang zu bewahren.
1852 wurde die Kemenate von Obergerichtsrat Moritz Schenck zu Schweinsberg umgebaut, nachdem sie jahrzehntelang nicht mehr bewohnt gewesen war. Unter der Leitung des Marburger Architekten Friedrich Lange erhielt die Kemenate einen neugotischen Anbau. Obwohl die Umbauten den Stil der alten Kemenate erheblich verfälschten, entsprachen sie der damaligen romantischen Vorstellung der Gotik. Parallel zu den Umbauten wurde auch der Garten neu angelegt, von dem Georg Landau schwärmerisch berichtet. Burg Schweinsberg ist durch diesen radikalen Umbau heute eher ein bedeutendes Beispiel für die Romantik und den beginnenden Historismus als für eine spätmittelalterliche Burg. Die beiden noch existierenden Häuser der Burg wurden 1982 (Fähnrichsbau) und 1998 (Conrads Kemenate) aufwendig restauriert. Es entstanden insgesamt sieben Eigentumswohnungen. In den Wohnungen der Kemenate wohnen sowohl eine Familie von Schenck als auch ein Nachfahre des Erbauers der Kemenate, Konrad Schenck zu Schweinsberg. Die äußeren Wallanlagen sind im Eigentum einer Schenckschen Stiftung. Damit ist diese Familie seit über 780 Jahren in Schweinsberg und auf der Burg präsent.
Ansicht von Ort und Burg
Stahlstich: Burg Schweinsberg (im Hintergrund) um 1850
Elmar Brohl: Festungen in Hessen. Herausgegeben von der Deutschen Gesellschaft für Festungsforschung e. V., Wesel, Schnell und Steiner, Regensburg 2013 (= Deutsche Festungen 2), ISBN 978-3-7954-2534-0, S. 171–176.
Rudolf Knappe: Mittelalterliche Burgen in Hessen. 800 Burgen, Burgruinen und Burgstätten. 3. Auflage. Wartberg-Verlag, Gudensberg-Gleichen 2000, ISBN 3-86134-228-6, S. 268.
Rolf Müller (Hrsg.): Schlösser, Burgen, alte Mauern. Herausgegeben vom Hessendienst der Staatskanzlei, Wiesbaden 1990, ISBN 3-89214-017-0, S. 336f.