В наши дни высота Замковой горы составляет 48 метров. Длина стен Верхнего замка составляет 320 метров, сам замок занимает площадку размером 110—120 на 50—60 метров. Из исторических построек сохранилась т. н. башня Гедимина, над которой реет литовский флаг.
Строительство Нижнего замка относят к концу XIII — началу XIV веков, когда лежащее у подошвы Замковой горы (горы Гедимина) поселение было преобразовано в замок. В начале XIV века большинство стен, которые в высоту достигали 9—10 метров и 1,7—3,1 метра в толщину, были уже построены. Стены Нижнего замка имели протяжённость более километра.
Большинство башен имели двусторонний вынос и находились на значительном расстоянии друг от друга. Остатки самой древней из башен Нижнего замка сохранились под фундаментом колокольни кафедрального собора, под которую она была приспособлена в XV — начале XVI веков. В плане башня была квадратной, каждая сторона была длиной в 13,5 метров.
Предполагается, что возведение каменных стен Верхнего замка, находящегося на Замковой горе, относится к первой половине XIV века. В начале XV века по приказу великого князя литовского Витовта Верхний замок был перестроен, что, возможно, говорит о том, что он пострадал во время сильного пожара 1419 года.
После крещения Литвы в конце XIV века в юго-западном углу Нижнего замка были построены римско-католический кафедральный собор и дворец виленских епископов. В дальнейшем здесь формируется церковный центр, в котором находятся также резиденция викария и виленского капитула.
Дворец великих князей литовских на территории Нижнего замка (возле западной подошвы Замковой горы) существовал по крайней мере с XIV века. Несколько сооружений готического стиля, возведённых в продолжение XV века, в первой половине XVI века были включены в состав новой резиденции великих князей в ренессансном стиле. В северной части Нижнего замка в середине XVI века оформился арсенал (цейхгауз), в начале XVII века состоявший из трёх основных корпусов.
Во время русско-польской войны в 1655 году замки без особых затруднений и крупных боёв были взяты русскими войсками. 11 июля 1661 года Вильна была отбита, но бои за замки продолжались до декабря. В результате замки сильно пострадали, были восстановлены только кафедральный собор, епископский дворец и арсенал.
Многие строения комплекса были разобраны после третьего раздела Речи Посполитой, когда Вильна отошла к Российской империи. Бывший королевский дворец, снесённый в 1801 году, был воссоздан с 2002 по 2016 гг. в предполагаемых ренессансных формах. По состоянию на 2019 год на Замковой горе продолжаются активные строительные работы.
Drėma V. Dingęs Vilnius (лит.). -Vilnius: Vaga, 1991. — 404 p. — P. 82—131.
Jučas M., Tautavičius A., Batūra R., Budreika E., Jučienė I.Vilniaus pilys // Lietuvos pilys (лит.) / ats. red. J. Jurginis. — Vilnius: Mintis, 1971. — P. 25—88.
Kieszkowski W. Dolny zamek wileński (пол.) // Arkady. — 1937. — № 10. — S. 506—512.
Kitkauskas N. Vilniaus pilys : statyba ir architektura (лит.). — Vilnius Mokslas, 1989. — 231 p.
Kuncevičius A. Die Kacheln aus dem Palast der Großfürsten in Vilnius (нем.) // Archälogische Schätze aus Litauen. Duisburg; Regensburg, 1992. — S. 71—134.
Ragauskienė, R.; Antanavičius, D.; Burba, D. Vilniaus Žemutinė pilis XIV a. — XIX a. pradžioje : 2002—2004 m. istorinių salitinių paieškos (лит.). — Vilnius: Pilių Tyrimo Centras «Lietuvos Pilys» Lietuvos Istorijos institutas, 2006. — 455 p.
The Castles of Vilnius: guidebook (англ.). — Vilnius: Draugija Pilis, 2000. — 24 p.
Urbanavičius V. Vilniaus žemutinės pilies rūmai: 1996—1998 metų tyrimai (лит.). — Vilnius: Pilių Tyrimo Centras «Lietuvos Pilys» Lietuvos Istorijos institutas, 2003. — 343 p.