Много внушителна каменна сграда, той е разположен на Brienner straße 45 между старата пинакотека и Кралския площад. Домът е построен през 1828 г. от Жан-Батист Метивие в неокласически стил за аристократа Карл Фрайхер фон Лоцбек. От 1876 г. сградата е известна като „Дворецът на Барлоу“. До 1930 г. в централата на партията на Schellingstrasse 50 става прекалено малка за 50-те си служители. През април 1930 г., Елизабет Стефани Барлоу (вдовица Уилям Барлоу, английски търговец) предлага Пале Барлоу за закупуване на Франц Ксавиер Шварц, партиен касиер. Договорът за покупко-продажба е подписан на 26 май, при закупуване на цената 805 864 марки. Средства за реконструкция централата на партията са били предоставени промишленика Фриц Тисен. Къща е превърната от градска вила в офис-сграда по проект на архитект Паул Троост. Той и Адолф Хитлер обзавеждат дома в тежък, антимодерен стил. Домът отваря врати на 1 януари1931 година.
Адолф Хитлер поддържа офис в Кафявия дом, както и Ханс Франк, Хайнрих Химлер, Херман Гьоринг, Рудолф Хес и Франц Шварц. Хитлер е държал портрет в пълен ръст на Хенри Форд в близост до бюрото си, като е известно, че те се възхищават един другиму на постиженията си[1]. Там също така се съхранява и т. нар. „кървав флаг“. Това е национал-Социалистически флаг, който е развят начело на демонстрация по време на бирения пуч от 1923. Когато мюнхенската полиция открива огън по участниците в шествието, знамето е опръскано с кръвта на пострадалите и се превръща в свещена реликва на Националсоциалистическата партия.
Кафявият дом е повреден през октомври 1943 година и до голяма степен разрушен в резултат на съюзническите бомбардировки в края на Втората Световна Война. Руините са разчистени през 1947 г., оставяйки парцела празен. През декември 2005 г. правителството на Бавария обявява, че парцелът ще се превърне в дом на NA-Dokumentationszentrum („Център за документация на историята на националсоциализма“)[2].
