Најстарите докази за населба во Гајза се пронајдени на ридот Ганголфиберг (Gangolfiberg), кој е исто така и највисока точка во градот и единствено преостанато средновековно место во Тирингија и се претпоставува дека потекнува од 11 век. Декретот за доделување на градските права бил изгубен, но првото споменување како град е од 1302. Како административен центар на опатијата Фулда, во Гајза преовладувало католичкото население. Атаназиус Кирхер е роден на 2 мај во 1601/1602 во Гајза.
Поради војните и пожарите во минатото, само неколку од историските градби се зачувани. Во срцето на градот е католичката парохиска црква (Stadtpfarrkirche) посветена на св. Филип и Јован, која била изградена помеѓу 1489 и 1504. Таа е единствената зачувана готска црква во областа на Гајза.
Реткост е кариљонот, специјален вид на 49 бронзени ѕвона на црковната кула. Над плоштадот се наоѓа замокот. Околу замокот се наоѓа мал плоштад (Schlossplatz), на кој се наоѓаат и локалниот суд, поранешен затвор, градскиот замок, голем број трговски градби и протестантска црква.
Во близина на градот се наоѓа поранешниот објект за набљудување на американската војска, наречен Поинт Алфа, кој бил едно од најжешките места за време на Студената војна. Од 2008 г., седиштето на здружението Поинт Алфа се наоѓа во замокот во Гајза, каде е сместен и градскиот музеј.
Во негова близина се наоѓаат одлично зачувани и уредени еврејски гробишта.
Музеи
„Поинт Алфа“ е името на меморијалното место за поранешната внатрегерманска граница, која ги раздвојувала Источна и Западна Германија.
