Pozostałości budowli z czasów rzymskich i czasów późniejszych zostały zburzone przez lokalnych mieszkańców w IX wieku, aby nie wpadły w ręce Saracenów. Obecny zamek został wybudowany przez Normanów w XII wieku i służył jako rezydencja królewska podczas panowania dynastii normańskiej i Hohenstaufów. Znaczenie Zamku Jajecznego zaczęło słabnąć podczas panowania Karola I Andegaweńskiego, króla Neapolu i Sycylii, który wzniósł nowy zamek – Castel Nuovo i tam zamieszkał razem z dworem. Zamek Jajeczny stał się siedzibą królewskich urzędników oraz miejscem przechowywania państwowego skarbu. Obecny kształt zamku nadano w XV wieku, podczas panowania dynastii aragońskiej. Podczas wojen włoskich zamek odparł atak francuskiej i hiszpańskiej artylerii. W 1799 republikanie strzelali z zamkowej broni do monarchistów, zwolenników dynastii Burbonów.
W XIX wieku na wysepce, u stóp południowej ściany zamku powstała mała osada rybacka Borgo Marinari. Osada ta istnieje do dzisiaj, ale bardziej znana jest z powodu swojego portu i kilkunastu znanych restauracji.
Zamek Jajeczny połączony jest ze stałym lądem groblą, która jest ulubionym miejscem fotografujących się na tle zamku nowożeńców. Grobla ma 100 metrów długości. Zamek ma kształt prostokąta, jego wymiary to w przybliżeniu 200 na 45 metrów. Ma również wysoki okrągły bastion, który wznosi się nad groblą. Za murami znajduje się kilka budynków, które obecnie służą do organizowania wystaw i innych specjalnych wydarzeń kulturalnych. Za zamkiem jest długi przylądek, który kiedyś prawdopodobnie używany był jako przystań dla statków. Duża okrągła wieża znajduje się za południowo-wschodnim murem zamku.
Nazwa
Nazwa zamku (w tłumaczeniu na język polski „Jajeczny Zamek”) pochodzi od średniowiecznej legendy, która głosi, że poeta rzymski Wergiliusz miał magiczne jajko. Wergiliusz zmarł i został pochowany w Neapolu, a jajko umieszczono w fundamentach zamku, żeby dodatkowo jeszcze go wzmocnić.