Główną atrakcją turystyczną Dowspudy są ruiny neogotyckiego pałacu Paców, wybudowanego w latach 1820–1827 staraniem Ludwika Michała Paca, generała wojsk polskich i napoleońskich.
Pałac w stylu angielskiego neogotyku został zaprojektowany przez włoskiego architekta Piotra Bosio. Budowę rozpoczęto w 1820, a po przerwie, od roku 1823 prowadzono je pod kierunkiem innego włoskiego architekta Henryka Marconiego. Prace budowlane oraz urządzanie i dekorowanie wnętrz trwało przez kolejne 4 lata.
Dwukondygnacyjna budowla składała się z korpusu głównego, w którego narożnikach umieszczono cztery smukłe wieżyczki, oraz dwóch węższych skrzydeł bocznych zakończonych ośmiobocznymi pawilonami. Nad korpusem głównym wznosiła się nadbudówka zwieńczona attyką i pinaklami, a jego przednią część zdobił mocno wysunięty portyk pełniący rolę podjazdu. W niszach na frontowej elewacji stały prawdopodobnie rzeźby królów polskich autorstwa włoskiego rzeźbiarza Carla Aurelli.
Trudno odtworzyć wygląd wnętrz pałacu, ale z dziewiętnastowiecznych opisów wiadomo, że na parterze znajdowały się: kaplica, salony, archiwum i biblioteka oraz zdobiona sztukaterią jadalnia, a na piętrze – mieszkanie właściciela i jego rodziny. Prawe skrzydło boczne mieściło zbiory militariów, a lewe – galerię malarstwa i oranżerię. Pomieszczenia te były bogato zdobione polichromią i freskami, zapewne autorstwa włoskich malarzy Mikołaja de Angelis oraz Giovanniego Battisty Carellego. Piwnice również miały dwie kondygnacje – w górnej znajdowały się łazienki urządzone według wzorów starożytnych, mieszkania dla służby, kuchnia i inne pomieszczenia gospodarcze; w dolnej – studnia. Pałac otoczony był parkiem zaprojektowanym przez angielskiego ogrodnika Johna Heitona.
Niesłychanie wystawny i kosztowny pałac dowodził bogactwa fundatora i przeszedł do skarbnicy polskich powiedzonek w postaci: Wart Pac pałaca, a pałac Paca.
Po powstaniu listopadowym Ludwik Pac wyemigrował, a jego dobra zostały skonfiskowane przez rząd carski. W czasie powstania część wyposażenia i dzieł sztuki ukryto w kościołach w Raczkach i Janówce; resztę oraz to, co udało się wykryć władzom carskim, sprzedano na publicznej licytacji w latach 1834–1836. W 1834 licytację na dzierżawę dóbr Dowspuda wygrał Stefan Horaczko, były kapitan gwardii cesarskiejNapoleona I, stając się naddzierżawcą Dowspudy na kolejne 6 lat. Jeszcze w trakcie dzierżawy Horaczki, car Mikołaj I postanowił nadać dobra rosyjskiemu generałowi Mikołajowi Sulimie. Po śmierci Mikołaja Sulimy w 1840 roku, donację odziedziczył jego syn – Siemion Sulima, który w 1864 roku zrzekł się dóbr. W 1873 roku Dowspudę otrzymał na mocy ukazu carskiego Jurij Karcow. W 1919 roku majątek Dowspuda przeszedł na rzecz skarbu państwa[6].
Kolejni właściciele i dzierżawcy nie dbali o utrzymanie dóbr w należytym stanie, pałac więc niszczał i ostatecznie został rozebrany w 1867 roku. Zachował się jedynie portyk oraz jedna wieża, zwana "bocianią", która według miejscowej ludności ocalała wyłącznie dlatego, że było na niej bocianie gniazdo.
Ruiny pałacu z 21-hektarową działką w roku 2016 zostały sprzedane przez władze powiatu za nieco ponad 1 mln zł osobie prywatnej, która deklaruje odbudowę pałacu z przeznaczeniem na cele hotelowe[7].
Osadnicy ze Szkocji
W latach 1815–1821 hrabia Pac sprowadził do swoich włości około 500-osobową grupę farmerów szkockich i angielskich, aby upowszechniali wśród miejscowej ludności nowoczesne techniki rolnicze i rzemieślnicze. Osadnicy założyli nową wieś o nazwie Szkocja oraz folwarki: Covenlock, New York (dziś: Pruska Wielka), Longwood (Ludwinowo), Linton, Berwik (Korytki) i Bromfield (Józefowo). Farmerzy ci przekonali miejscowych chłopów m.in. do odejścia od archaicznego systemu trójpolówki na korzyść płodozmianu, upowszechnili uprawę ziemniaków i przechowywania ich w kopcach oraz hodowlękoni i owiec.
Pod kierunkiem szkockich mechaników uruchomiono też w 1816 w Dowspudzie wytwórnię machin, produkującą młockarnie poruszane kieratem lub kołem wodnym, siewniki, pługi, opielacze, młynki do wyrobu kasz i mąki itp. Produkowano także wyposażenie browaru, gorzelni, garbarni, krochmalni, olejarni. Była to trzecia tego rodzaju fabryka w kraju (wcześniej działały tylko wytwórnie Stanisława Zamoyskiego w Zwierzyńcu i Antoniego Trębickiego w Łomnej).
Wielu z farmerów pozostało w okolicy nawet po konfiskacie majątku Paca, mimo stopniowego upadku posiadłości dowspudzkich. Ich potomkowie żyją tu do dnia dzisiejszego.
W ruinach pałacu w latach 1996–2004 oraz 2007 w miesiącach wakacyjnych odbywał się Festiwal Kultury Celtyckiej „Dowspuda”, impreza zainspirowana przeszłością hrabstwa Dowspuda.