Будівництво почалося 1552 року за планом іспанського інженера П'єтро Прато, який спроектував невеликий прямокутний форт. Головний вхід, що розташовувався з протилежного від моря боку, укріпляли два напівбастіони. Всередині форту був споруджений кавальєр. Цей план, як виявилося, мав чимало недоліків. Один з них полягав у тому, що куртина з боку моря була спрямована лише на море, що уможливлювало ведення вогню по цілях у відкритому морі, але звідти було неможливо перекрити входи до гавані. 1554 року перед цією куртиною було споруджено високий кавальєр. Цей кавальєр був вищий за сам форт, від якого його відділяв сухий рів, який було важко прикрити через відсутність бастіонів з морського боку. Тож Дон Гарсія де Толедо наказав 1565 року спорудити ще одне зовнішнє укріплення.
1565 року, під час облоги МальтиОсманською імперією, форт був захоплений турками, але пізніше під натиском госпітальєрів, турки зняли облогу та здали фортецю. Під час боїв форт був практично зруйнований, але пізніше був відновлений та укріплений.
Зараз у форті розташовуються Національний військовий музей Мальти та поліцейська академія Мальти. Тут періодично влаштовуються костюмовані вистави, що відтворюють лицарську епоху.
Цікаві факти
Під ім'ям форт Сент-Ельмо згадується в романі Сесіла Скотта Форестера «Горнблауер і «Атропа»» (C.S.Forester — Hornblower And the «Atropos», 1953).