Fu costruito dai danesi alla fine del XIII secolo e la prima pietra fu posta all'inizio del XIV secolo[chiarire]. L'ordine dei Cavalieri Teutonici tedeschi acquistò il castello estone nel 1345 e la sua storia fu fortemente legata all'ordine teutonico germanico. A ovest della fortezza venne poi eretta una torre quadrangolare, chiamata Pikk Hermann, cioè Ermanno Il Lungo. Addossati alle mura del castello furono costruiti, nel XIV secolo, gli edifici conventuali. La torre principale fu invece innalzata nel XV secolo.
Il castello di Hermann a Narva, in Estonia (a sinistra), e la fortezza di Ivangorod in territorio russo (sulla destra)
All'interno ospita il Linnamuuseum, un museo sulla storia della città, con reperti del castello e antichi documenti mentre l'esterno ha una statua di Lenin. Forma un insieme architettonico unico nel Nord Europa, assieme alla Fortezza di Ivangorod, sulla riva opposta del fiume Narva ma in territorio russo.
