La forteresse, signalée par Tacite sous le nom de Gornéa, est construite sur une plate-forme formant un promontoire entouré de falaises d'une hauteur de 100 mètres qui dominent la vallée du torrent Azat ; elle existait déjà au paléolithique comme le prouvent des objets retrouvés lors des fouilles. Les remparts datent de l'âge du bronze mais ont été maintes fois remaniés depuis, consolidés en particulier à l'époque du royaume d'Urartu (VIIIe au VIe siècle av. J.-C.).
Ce qui subsiste de la forteresse date du IVe siècle av. J.-C., époque où Alexandre le Grand envahit la Perse et où la culture arménienne commença à subir une influence hellénistique, mais la forteresse fut aussi dévastée par les Romains et les monuments les plus importants conservés sur le site sont postérieurs de 500 ans, en particulier le temple et les thermes romains.
Les remparts, ponctués de 14 tours rectangulaires, furent restaurés par le roi bagratide Achot II, mais furent par la suite détruits par les Turcs en 1638 et par un tremblement de terre en 1679. La restauration date seulement de 1975.
C'était un palais à deux étages de 40 mètres de long et 15 mètres de large, avec une toiture en bois qui reposait sur des piliers eux-mêmes en bois, avec une base de pierres. Les chroniqueurs arméniens le décrivent comme une « maison de fraîcheur » grâce à un système naturel d'aération qui permettait de recevoir le vent frais venant de la gorge de Garni. Par grande chaleur, l'on faisait aussi venir de grands blocs de glace des sommets des montagnes relativement proches[2].