У 1273 годзе Магістр Лівонскага ордэнаЭрнст фон Ратцэбург[d] збудаваў замак Дынабург ва ўладаннях вялікага літоўскага князяТрайдзеня. Замак меў стратэгічнае значэнне: служыў базай для наездаў Ордэна на цэнтральную Літву, каб прымусіць Трайдзеня аказваць падтрымку земгалам, што змагаліся з лівонцамі[3]. У 1277 Трайдзень пачаў аблогу замка. За месяц ён зладзіў 4 спробы штурма абложнымі вежамі, аднак вымушаны быў адступіць. Майстар фон Ратцэбург у адказ зладзіў у 1278 годзе беспаспяховы паход углыб Літвы, які скончыўся разгромам пад Ашэрадэнам (цяперашняе Айзкраўклэ).
у 1561 годзе паводле Віленскай уніі Лівонія была падзелена, і Латгалія адышла да Вялікага Княства Літоўскага. Пасля Люблінскай уніі 1569 года гэтыя землі сталі супольным уладаннем Вялікага Княства Літоўскага і Кароны. Дынабургскі замак стаў адміністрацыйным цэнтрам рэгіёна і сядзібай каталіцкага біскупа;
у 1577 годзе Іван Грозны захапіў замак і загадаў зруйнаваць яго да зямлі. Пасля сыходу маскавітаў мясцовыя жыхары вярнулі тэрыторыю сабе, аднак у сувязі з моцнымі разбурэннямі паселішча было перанесенае на 19 км ніжэй па цячэнні Дзвіны, дзе паўстаў сучасны горад. Кароль Стэфан Баторый вырашыў не перабудоўваць стары замак, які страціў былое стратэгічнае значэнне.
у 1671 годзе была спроба перабудовы замка, але ён канчаткова быў разбураны ў часе Вялікай Паўночнай вайны (1700—1721). Рэшткі муроў былі разбураны ў 1811—1829 гадах.