Адно з найстаражытнейшых паселішчаў Каўнаскага раёна. Узгадваецца ў 1392 годзе ў хроніцы Тэўтонскага ордэна, як месца барацьбы паганцаў супраць крыжакоў. Пасля захопу Жамойці крыжакі заснавалі ў гэтым месцы, на востраве ракі Нявежыс, крэпасць Кёнігсбург з гарнізонам у 80 рыцараў і 400 кнехтаў.
У 1549 годзе вялікі князь Жыгімонт Аўгуст падарыў Чырвоны Двор сваёй жонцы Барбары Радзівіл. Ягоныя бацькі Жыгімонт Стары і Бона Сфорца, як і значная частка польскіх магнатаў, былі супраць гэтага шлюбу. Неўзабаве, 8 мая 1551 года, Барбара Радзівіл памерла.
Пасля яе смерці Чырвоны Двор нададзены Гінтаўтам-Дзевалтоўскім, якія неўзабаве прадалі яго Радзівілам. Першыя пісьмовыя крыніцы называлі месца Новым Верхнім Дваром, але ў XVII стагоддзі называць ужо Верхнім Чырвоным Дваром, пакуль не сфарміравалася цяперашняя назва. Назва паходзіць, мусіць, ад чырвонай цэглы замка.
У 1653—1654 гадах князь Януш Радзівіл рэканструяваў замак, надаўшы яму сучасны выгляд. Па яго смерці сядзіба перайшла да Варлоўскіх, потым да Забелаў. У 1819 годзе маёнтак набыў Міхал Тышкевіч[1]. У паўстанне 1830—1831 гадоў замак разбураны расійскай арміяй. Сын Міхала — Бенедыкт Тышкевіч з дапамогай італьянскага архітэктара Чэзарэ Анікіні[lt] рэканструяваў сядзібу, пабудаваў гаспадарчыя памяшканні (цяпліцы, адрыны, стайні і г.д.). Пасля рэканструкцыі 1832—1855 гадоў замак меў рысы Адраджэння, але некаторыя сляды гатычных элементаў усё яшчэ бачныя (асабліва круглая ў плане вежа, якая, як думаюць, была часткай тэўтонскага замка). Прыкладна ў той жа час сядзіба была акружана садам у англійскім стылі, з вялікай аранжарэяй, дзе пачалі вырошчваць цытрынавае дрэва. У аранжарэі таксама утрымліваліся алігатары, малпы і папугаі. Пасля сваіх падарожжаў граф-уладальнік палаца-музея пастаянна папаўняў калекцыю новымі творамі мастацтва, ювелірнымі ўпрыгожаннямі, сувенірамі, цікавосткамі з Егіпта, Індыі, Кітая, Японіі, Афрыкі, Амерыкі, Кубы — страусавыя яйкі, какосавыя арэхі і вырабы з іх абалонак, рогі жывёл і інш. Замак стаў любімым месцам забавы шляхты з усей Польшчы і Літвы.
Пабудаваная ў 1835 годзе на сродкі Бенедыкта Тышкевіча першая ў Раўдондварысе драўляная капліца была заменена ў 1852—1857 гадах царквой па праекце архітэктара Чэзарэ Анікіні. Міхал Эльвіра Андрыёлі на заказ Тышкевіча зрабіў роспіс галоўнага алтара, гіпсавую ляпніну, скульптурны фрыз і іншыя ўпрыгожванні інтэр’еру ў стылі Людовіка XV[2]. Таксама для пабудаванай царквы зрабіў роспісы крыжа і некаторых алтароў Аляксандр Сляндзінскі. У гэтай царкве Бенедыкт Тышкевіч і быў пахаваны побач са сваёй першай жонкай.
У 1856—1860 гадах сядзіба была пашырана, многія будынкі спраектаваў нямецкі архітэктар Волер. З’явілася новыя аранжарэя, стайні, ледзяны дом і гаспадарчыя пабудовы. Сям’я Тышкевічаў валодала Раўдондварысам да 1-й сусветнай вайны.
XX стагоддзе
Пасля Першай сусветнай вайны маёнтак канфіскаваны літоўскімі ўладамі. У сядзібе размяшчалася школа, потым дзіцячы дом. Сядзіба была моцна пашкоджана падчас Другой сусветнай вайны, але адноўлена ў 1962—1975 гадах. Цяпер у ёй знаходзіцца музей Тышкевічаў і вядомага літоўскага кампазітара Юозаса Наўяліса[ru], ураджэнца Раўдондварыса.
У 1956 годзе ў Раўдондварысе адкрыты філіял Універсітэта механізацыі сельскай гаспадаркі імя Аляксандра Сульжынскага. У памяшканнях замка Тышкевічаў размешчаны Інстытут меліярацыі. У вёсцы функцыянуюць дзіцячыя школьныя і дашкольныя ўстановы, культурны цэнтр (1970) с тэатральнай і кіназалай на 320 месцаў, бібліятэка, паштовае аддзяленне, банк.
У 1994 годзе ўстаноўлены помнік кампазітару Юозасу Няўялісу, агулам у Раўдондварысе тры помнікі ў яго гонар.