Els cavallers de l'Orde teutònic van conquistar la zona en 1255 i va ser reanomenada la fortalesa de Kneiphof com a Königsberg, alhora que es construïa un nou castell Ordensburg, que seria ampliat i modificat als segles xvi i xviii. El castell va esdevenir residència del Gran Mestre de l'Orde Teutònic i posteriorment dels dirigents prussians.
Durant l'època de l'Imperi alemany i la República de Weimar, el castell va albergar el museu provincial i una col·lecció de pintura. Va allotjar, entre altres béns, unes 240.000 restes arqueològiques de la Prússia-Sammlung (Col·lecció Prusia), un recull estatal i de la Biblioteca Universitària amb la famosa Biblioteca de Plata (Silberbibliothek) del segle xvi, així com diversos quadres del pintor Lovis Corinth. Durant la guerra també va albergar obres d'art que havien estat capturades als russos, incloses parts de la Cambra d'Ambre. Van ser també coneguts el seu Saló Moscovita (Moskowitersaal), el major saló d'Alemanya durant segles, amb els seus 83 metres d'ample per 18 de llarg, així com el seu Saló de Sang (Blutgericht), amb vi.
Després de la fi de la guerra, Königsberg va ser reanomenada com a Kaliningrad i va començar la reconstrucció de la ciutat pels dirigents soviètics. El castell no va ser reconstruït, i Leonid Bréjnev, va ordenar destruir les últimes restes del palau, considerats una resta del militarisme prussià i el feixisme. Malgrat les protestes estudiantils i dels intel·lectuals de la ciutat, les ruïnes van ser finalment dinamitades en 1968.
En l'actualitat, en el lloc que ocupava el castell s'erigeix la Plaça Central de la ciutat i la Casa dels Sóviets, conclosa el 2005.
Baldur Köster: Königsberg: Architektur aus deutscher Zeit. Husum Druck, 2000, ISBN 3-88042-923-5.
Wulf D. Wagner: Das Königsberger Schloss - Eine Bau- und Kulturgeschichte, Band I. (Von der Gründung bis zur Regierung Friedrich Wilhelms I. (1255 - 1740)), 2008 Regensburg, ISBN 978-3-7954-1936-3
