Errichtet wurde das ursprünglich so bezeichnete Haus im Jahre 1587 als erstes steinernes[1] Wohnhaus der Stadt im Langen Hagen (Haus Nr. 12) für Caspar Borcholt. Das oberste der drei Geschosse war in Fachwerk ausgeführt.[2]
Der in den Neubau integrierte Fassadenschmuck umfasst Figuren, die von links das assyrisch-babylonische, das persische, das griechische und das römische Weltreich symbolisieren, einem Erker mit Darstellungen der vier Jahreszeiten, sowie 46 Medaillons mit Porträtsrömischer Kaiser, von denen der Name Kaiserhaus herrührt.[1]
Kaiserhaus zwischen 1890 und 1900
Ein von der Hofseite stammender Stein mit der Jahreszahl M befindet sich in der Mauer am Pfaffenstieg. Von einem Portal, das sich ebenfalls an der Hofseite befand, ist nur noch ein Fragment erhalten, das im Steinekeller des Roemer- und Pelizaeus-Museum lagert. Dieses zeigte über dem Sturz einen Bacchus, flankiert von zwei auf Delphinen reitenden Knaben. Das an der Fassade der Hofseite befindliche Wappen der Mutter des Bauherren, Hilke von der Möhlen, ist verlorengegangen.[2]
Zum Kaiserhaus gehörte ferner der etwa gleichzeitig entstandene und 1945 endgültig zerstörte Diana-Brunnen.[2]
