В будівлі, збудованій в 1880 за проектом архітектора Адольфа Фесті, в післявоєнній Угорщині знаходилася в'язниця, де допитували та утримували противників режиму. Після Угорської революції 1956 приміщення було передано угорському комсомолу.
У грудні 2000 «Громадський Фонд з вивчення Центрально та Східноєвропейської історії та суспільства» придбав будівлю з метою створення музею задля вшанування пам'яті про два криваві періоди в історії Угорщини (фашистський та комуністичний).
Впродовж року будівля була повністю відреставрована всередині і зовні. Дизайн інтер'єру, остаточний вигляд виставкових залів музею, а також зовнішній фасад — робота архітектора Атіли Ф. Ковача. Плани реконструкції Дому терору зробили архітектори Янош Шандор і Кальман Уйсасі. Зокрема будівля отримала широкий дашок з вибитим у ньому написом «TERROR», що виділяє будинок серед ансамблю будівель проспекту Андраші.
Постійна експозиція
Містить експозицію, що ілюструє періоди співпраці країни з нацистською Німеччиною та Радянським Союзом, експонати про історію угорських тоталітарних організацій, таких як фашистська партія «Схрещених стріл» і комуністична «Угорська партія трудящих»[3] (включно з таємною поліцією на зразок КДБ). Частина експозиції міститься в підвалі, де відвідувачі можуть побачити приклади камер, що використовувалися комуністичною таємною поліцією щоб зламати волю ув'язнених.