Erstmals urkundlich erwähnt wurde das Rittergut Grimminghausen 1406 im Zusammenhang mit einer Kaufurkunde zwischen den Brüdern Schade und Hermann von Cobbenrode. Nach häufigem Besitzerwechsel fiel Grimminghausen 1613 an die Familie von Plettenberg, die Grimminghausen 1656 an die Familie von Mascherel veräußerte. Später gelangte Grimminghausen an die Katzler, die Freiherren von dem Bottlenberg genannt Kessel zu Schloss Neuenhof und schließlich an die von dem Bussche-Ippenburg genannt Kessel.
Im Laufe des 17. Jahrhunderts wurde das zweigeschossige Gebäude mit seinem Wirtschaftshof erweitert. Nach Renovierungen um 1800 und 1980–81 befindet es sich heute in Privatbesitz. An der Nordwestseite des Schlosses kann man noch Spuren der Gräfte und des ehemaligen Außenwalls erkennen.