Kiedy w XIV wieku Krzyżacy najeżdżali Żmudź, pod pozorem szerzenia chrześcijaństwa, poczęli budować tam zamki. Jeden z nich wznieśli w 1392 roku na wysokim, lewym brzegu Niewiaży, w pobliżu jej ujścia do Niemna i nazwali go Rothenburg. Klęska, jaką ponieśli pod Grunwaldem w 1410 roku, zmusiła ich do opuszczenia żmudzkiej ziemi. Odtąd wszelkie krzyżackie posiadłości stały się królewszczyznami. Tak stało się i z Rothenburgiem, czyli Czerwonym Dworem. Półtora wieku później zamek ten istniał nadal, został tylko przebudowany, i w dalszym ciągu wchodził w skład dóbr stołowych polskiego króla, którymi mógł on dowolnie dysponować. W 1549 roku król Zygmunt August podarował zamek w Czerwonym Dworze wraz z okolicznymi ziemiami i starostwem wilkijskim swojej żonie, Barbarze Radziwiłłównie, i tym sposobem na pewien czas znalazł się on w rękach Radziwiłłów. Po śmierci Barbary Radziwiłłówny w roku 1551 nie było komu zadbać o zamek i zaczął on popadać w ruinę.

Od Radziwiłłów czerwonodworskie dobra przeszły w ręce Wojciecha Gintowt-Dziewałtowskiego (1536-1581) herbu Trąby, podkomorzego kowieńskiego, żonatego z Anną z Ogińskich (1547-?) herbu Oginiec. Otrzymał je w spadku syn Wojciecha, Jan Gintowt-Dziewałtowski (ok.1560-1607), chorąży kowieński, żonaty po raz pierwszy z Anną Billewiczówną herbu Mogiła, a po raz drugi z Barbarą ks. Ogińską. Dziewałtowscy odbudowali niszczejący zamek, nadając mu kształt renesansowy, który w głównych zarysach dotrwał do naszych czasów, chociaż pewne zmiany były później czynione przez kolejnych właścicieli. 

Zamek-pałac w Czerwonym Dworze

Była to budowla dwukondygnacyjna, o grubych, półtorametrowych ścianach wymurowanych z nieotynkowanej cegły, postawiona na planie wydłużonego prostokąta i przykryta dwuspadowym, dość wysokim dachem. Przy narożniku północno-wschodnim zbudowano cylindryczną basztę, pokrytą dachem stożkowym. Duże, prostokątne okna na parterze i piętrze wyeksponowano szerokimi, białymi obramieniami. 

Czerwony Dwór odziedziczyła po Janie Gintowt-Dziewiałtowskim jego jedyna córka z małżeństwa z księżną Ogińską, Katarzyna, zamężna najpierw za Janem Sapiehą (1600-1629) herbu Lis, starostą uświackim, kirśnieńskim i uszpolskim, a następnie, od 1630 roku, za Janem Eustachym Korwin-Kossakowskim (1600-1649) herbu Ślepowron, kasztelanem mścisławskim, wnosząc mu jako wiano majątek czerwonodworski. Tenże majątek nabył w 1652 roku Janusz ks. Radziwiłł (1612-1655), wojewoda wileński i hetman polny litewski i przekazał go swojemu przyszłemu zięciowi, Bogusławowi ks. Radziwiłłowi (1620-1669), staroście barskiemu, koniuszemu wielkiemu litewskiemu i przyszłemu generalnemu namiestnikowi Prus Książęcych. W 1662 roku Jan Karol Worłowski (ok.1640-?) herbu Chorągwie Kmitów, skarbnik kowieński, żonaty od dwóch lat z Zofią Blinstrub (ok.1650-?) herbu Łabędź kupił od księcia Bogusława Radziwiłła po długich targach Czerwony Dwór za 30 tysięcy florenów.

Bez mała sto lat Czerwony Dwór należał do Worłowskich. Przed 1761 rokiem nabył go od nich Antoni Zabiełło (1710-1776) herbu Topór, marszałek kowieński, łowczy Wielkiego Księstwa Litewskiego, generał lejtnant wojsk litewskich, żonaty z Zofią Niemirowicz-Szczyttówną (1730-1806) herbu Jastrzębiec, z którą miał czterech synów i cztery córki. Ich najstarszy syn, Józef (1750-1794), starosta telszewski, generał lejtnant wojsk litewskich i ostatni hetman polny litewski, ożeniony w lutym 1784 roku z Marianną Sobolewską (1766-1843) herbu Ślepowron był następnym panem na Czerwonym Dworze. Po nim majątek ten przejął jego jedyny syn, Henryk Kazimierz (1785-1850), którego żoną została Gabriela Gutakowska (1788-1865) herbu Gutag. Był on ostatnim z rodziny Zabiełłów właścicielem czerwonodworskiego majątku, bowiem w 1819 roku sprzedał go Michałowi Tyszkiewiczowi, pułkownikowi wojsk litewskich, byłemu dowódcy 17 pułku ułanów litewskich w armii Napoleona Bonaparte. 

Michał hr. Tyszkiewicz-Łohojski (1761-1839) herbu Leliwa, założyciel litewskiej linii Tyszkiewiczów, żonaty z Joanną Karp (1777-1816) herbu własnego, kupił Czerwony Dwór nie dla siebie, lecz dla swojego najstarszego syna, Benedykta, jako prezent ślubny. Benedykt Emanuel hr. Tyszkiewicz-Łohojski (1801-1866), marszałek kowieński, ożenił się z Wandą Wańkowiczówną (1806-?) herbu Lis w 1825 roku i wtedy otrzymał od ojca ten nie byle jaki prezent. Podczas Powstania Listopadowego Czerwony Dwór został ostrzelany przez rosyjską artylerię w wyniku czego pożar strawił drewniane zabudowania gospodarcze. W ich miejsce Benedykt Tyszkiewicz wzniósł  w latach 1832-1835 budynki murowane i naprawił uszkodzenia, jakich doznał zamek. Przy tej okazji na jego murach pojawiło się nieco nowych elementów dekoracyjnych, zwłaszcza neogotyckich, które nadały budowli bardziej wykwintny wygląd. Podwyższono też basztę i otoczono jej zwieńczenie krenelażem, a do naroży elewacji bocznej południowej dostawione dwie znacznie niższe i smuklejsze baszty. Nad trójosiowymi częściami środkowymi elewacji frontowej i ogrodowej dodano facjaty bardzo podobne do istniejących już zwieńczeń elewacji szczytowych. Na dachu zamiast dachówek położono gont. Prace były prowadzone pod nadzorem dwóch architektów: Polaka - Jana Margiewicza i Włocha - Wawrzyńca Cezarego Anichiniego, nadwornego architekta Benedykta Emanuela Tyszkiewicza.

Baszta i elewacja szczytowa

Pałac-zamek, jak go zaczęto nazywać, otoczył park urządzony w stylu ogrodu angielskiego, w którym nasadzano głównie rodzime drzewa i krzewy, ale powstała również duża oranżeria z roślinnością sprowadzoną z południowych krajów. Rosły w niej drzewa cytrusowe, palmy, figowce i egzotyczne rośliny kwiatowe. Oranżerię nazywano nie zimowym, lecz "rajskim ogrodem" i ustawiono w nim marmurowe rzeźby Adama i Ewy, aby jeszcze bardziej przypominały mityczny raj.  

Parkowy starodrzew

Pałacu-zamku strzegły dwie armaty i stojące przy drzwiach wejściowych imitacje rycerzy w zbrojach, a w dużym westybulu - wypchane niedźwiedzie. Hrabia Tyszkiewicz był zapalonym myśliwym, więc w tymże westybulu zgromadzono na ścianach liczne trofea łowieckie, wśród których wisiał jego portret w stroju myśliwskim, namalowany przez Jana Ksawerego Kaniewskiego. Pomieszczenia na parterze były dość niskie i miały sklepione sufity - przeznaczone były głównie na pokoje mieszkalne. Natomiast na piętrze, na które prowadziły z westybulu dwubiegowe schody, znalazły się komnaty reprezentacyjne, znacznie większe i wyższe, o płaskich sufitach wspartych na fasetach ozdobionych sztukateriami, o stiukowych ścianach wyłożonych boazerią lub obitych wzorzystymi tkaninami, z mozaikowymi podłogami ułożonymi z kilku gatunków drewna. Pomieszczenia te ogrzewały marmurowe kominki w różnych kolorach, a oświetlały brązowe żyrandole przywiezione z Holandii lub kryształowe sprowadzone z Murano. Umeblowano je także wyszukanie - w stylu cesarskim (empire) oraz Ludwika XVI i Ludwika Filipa.

Benedykt Emanuel Tyszkiewicz był nie tylko zapalonym myśliwym, ale także znawcą sztuki i nietuzinkowym jej kolekcjonerem. Zgromadził ponad pięćdziesiąt obrazów, takich mistrzów, jak Michelangelo Caravaggio, Peter Paul Rubens, Francesco Albani, Bernardino Luini, Guido Reni czy Bernardo Bellotto. Do najcenniejszych płócien należały: Madonna i św. Katarzyna Caravaggia, Madonna Bartolomea di Pietro, Śpiąca nimfa i satyr Annibala Caracciego oraz namalowana na desce przez Leonarda da Vinci Madonna z Dzieciątkiem i Jagnięciem. Były tam również dzieła polskich mistrzów pędzla: Michała Andriolliego, Szymona Czechowicza, Jana Rustema, Walentego Wańkowicza, Marcina Zalewskiego, Alberta Żametta, Jana Aleksandra Trzyckiego. Ich konserwacją zajmował się, sprowadzony specjalnie do Czerwonego Dworu, Julisz Döring, absolwent drezdeńskiej Akademii Sztuk Pięknych. Hrabia Tyszkiewicz opiekował się też młodymi malarzami, fundował im stypendia i wysyłał za granicę. Skorzystali z tej hrabiowskiej filantropii między innymi Władysław Majeranowski i Albert Żamett, a letnie wakacje na koszt hrabiego spędzali w jego majątku Aleksander i Wincenty Sleńdzińscy, Jan Rustem, Walenty Wańkowicz. Oprócz obrazów pałacowe salony zdobiły jeszcze gobeliny i makaty oraz rzeźby wykonane z marmuru przez takich artystów, jak Luigi Bienaimé, Luigi Pampaloni czy Tomasz  Oskar Sosnowski. Hrabiowskich gości zachwycało zwłaszcza popiersie Wandy z Wańkowiczów Tyszkiewiczowej, które wyszło spod dłuta Sosnowskiego oraz "Święty Jan" Pampaloniego. W jadalni można było podziwiać kolekcje porcelany miśnieńskiej i polskiej oraz szkła wytwarzane w XVIII  i XIX wieku w radziwiłłowskich hutach w Urzeczu i Nalibokach. 

W obszernej bibliotece znalazł miejsce księgozbiór liczący 10 tysięcy tomów. Były wśród nich unikatowe woluminy z XV i XVI wieku. Większość z nich miała pergaminową lub skórzaną oprawę ze złoconą ornamentacją. Niektóre z nich miały niepoślednie exlibrisy, np. króla Stanisława Augusta Poniatowskiego. W bibliotece przechowywano także rodzinne archiwum Tyszkiewiczów, równie bogate jak księgozbiór. Było ono stale wzbogacane i oprócz dokumentów dotyczących właścicieli Czerwonego Dworu zawierało rękopisy takich osobistości, jak Antoni Tyzenhauz, Hugo Kołłątaj, wojewoda brzesko-litewski Marcin Matuszewicz czy król Stanisław August Poniatowski piszący sekretne listy do sekretarza swojego gabinetu, poety Antoniego Kossakowskiego. Znajdowały się tam również dokumenty dotyczące najznamienitszych rodów arystokratycznych, takich jak Radziwiłłowie, Sapiehowie, Potoccy, Czartoryscy, Ogińscy, Chodkiewiczowie itp. 

Oficyny

Benedykt Emanuel hr. Tyszkiewicz nie doczekał się bezpośredniego męskiego spadkobiercy, bowiem jego jedyny syn, Michał, zmarł wkrótce po porodzie. Miał natomiast trzy córki. Najmłodsza z nich, Maria Wanda (1833-1860), wyszła za mąż po raz pierwszy za Mikołaja Józefa hr. Tyszkiewicza (1829-1880), a po raz drugi za Michała hr. Tyszkiewicza (1820-1853) z Oczeretnej na Ukrainie, który wcześniej był mężem jej starszej siostry, Joanny Walerii (1827-1848). Po tym drugim zamążpójściu urodziła jedynego syna, Benedykta Henryka (1852-1935), i on odziedziczył po 1866 roku Czerwony Dwór. Nim do tego doszło, stracił we wczesnym dzieciństwie oboje rodziców, zmarłych na gruźlicę płuc. Opiekę nad nim przejął dziadek, Benedykt Emanuel, i bojąc się, żeby nie zachorował, jak jego matka i ojciec, wysłał go wraz z domowym lekarzem i nauczycielem na Maderę, gdzie, korzystając ze świetnego klimatu, przebywał do osiągnięcia pełnoletności. Później nie siedział w Czerwonym Dworze, lecz bardzo dużo podróżował własnym jachtem "Litwa". W Chinach mieszkał przez kilka lat, odwiedzając rodzinne strony tylko przy specjalnych okazjach. Zasmakował w chińskiej kuchni, poznał tamtejsze obyczaje, zgłębiał niektóre dziedziny sztuki, nauczył się języka mandaryńskiego, a od cesarza chińskiego otrzymał tytuł mandaryna, którym się wielce chlubił. Kiedy przyjeżdżał do Czerwonego Dworu, paradował w chińskich szatach z białego atłasu, z wyhaftowanym na nich czerwonym smokiem, a jego bliżsi i dalsi kuzyni tytułowali go z pewną ironią Mandarynem. Podczas tych powrotów do kraju przywoził ze sobą chińską porcelanę, malunki wykonane tuszem na papierze xuan, różne chinoiserie, a nawet całe pagody. Ale nie tylko tymi przywożonymi z Chin dziełami sztuki i wytworami rzemiosła artystycznego wzbogacał zgromadzone już wcześniej kolekcje. Kupował też dzieła rodzimych artystów. Nabył, na przykład, u Jana Matejki w 1876 roku jego obraz "Batory pod Pskowem", by uświetnić nim jeden z pałacowych salonów. 

Oranżeria

Benedykt Henryk hr. Tyszkiewicz-Łohojski był ostatnim panem na Czerwonym Dworze. Miał on wprawdzie z Klarą Elżbietą Bancroft (1857-1883), którą poślubił w Bostonie w 1874 roku, dwóch synów (Benedykta Jana i Edwarda), ale żaden z nich nie odziedziczył po nim majątku, bowiem powstała po zakończeniu I wojny światowej Republika Litewska przeprowadziła reformę rolną, w wyniku której czerwonodworski majątek został rozparcelowany, a pałac-zamek znacjonalizowany. Jeszcze przed 1915 rokiem Tyszkiewiczowie opuścili Czerwony Dwór i nigdy już do niego nie powrócili. Ostatni jego prawowity właściciel, Benedykt Jan hr. Tyszkiewicz-Łohojski zmarł w 1948 roku w Paryżu, a jego syn, Benedykt Władysław, zginął tragicznie, nie pozostawiając potomstwa, w 1956 roku w Warszawie. Natomiast potomkowie Edwarda hr. Tyszkiewicza-Łohojskiego (1880-1951), drugiego syna Benedykta Henryka, ożenionego z Adelą Dembowską (1884-1940) herbu Jelita, żyją obecnie w różnych miasta Belgii i Polski.

W czasie I wojny światowej pałac nie został uszkodzony, rozgrabiono tylko jego wyposażenie, chociaż udało się Tyszkiewiczom wywieźć do Polski i uratować dużą część najcenniejszych przedmiotów i niemal wszystkie dzieła sztuki. Najważniejsze dokumenty i cenne druki przesłano na przechowanie do zamku Juliusza Tarnowskiego w Suchej Beskidzkiej, ale duża część księgozbioru pozostała na miejscu i ślad po niej zaginął. Po zakończeniu wojny Tyszkiewiczowie nie wrócili już do Czerwonego Dworu. Ich rezydencję otrzymał Litewski Komitet Opieki Kobiet i założył w niej przytułek dla dzieci i szkołę podstawową. W 1943 roku dom dziecka i szkoła zostały zlikwidowane, a pałac zajęła wyspecjalizowana grupa Wehrmachtu - Sonderkomande "Pflau", która wycofując się w 1944 roku przed nacierającą Armią Czerwoną, wysadziła go wraz z oranżerią w powietrze. 

Dawne stajnie

W tym samym roku, po przejściu frontu wojennego w oficynie południowej i stajni urządzono bazę naprawczą traktorów i maszyn rolniczych. Jej dyrektor, Rosjanin, starał się zniszczyć wszelkie ślady mówiące o tym, że Czerwony Dwór był niegdyś własnością hrabiowskiej rodziny. Na szczęście nie udało mu się wszystkiego zdewastować. W roku 1960 odbudowano oranżerię według projektu Vytautasa Jurkštasa i Stefanii Čerškutė, w latacvh 1962-1967 odrestaurowano zamek, a w okresie od roku 1970 do 1973 rekonstruowano stajnię-wozownię i trzy budynki gospodarcze. W 1993 roku utworzono w pałacu-zamku ośrodek kultury. Przez pierwsze 10 lat malarz Konstantinas Žardalevičius miał w nim pracownię twórczą, udostępnianą zwiedzającym, oraz stałą wystawę swoich abstrakcyjnych obrazów, mieszczących się na obu piętrach pałacu i w baszcie, co umożliwiają jednoczesną prezentację od 100 do 2300 płócien.. Później, w 1995 roku, powstała ekspozycja obrazująca historię hrabiowskiej rodziny Tyszkiewiczów, a w marcu 2002 roku założono muzeum Juozasa Naujalisa  (1869-1934) - najwybitniejszego bodajże kompozytora litewskiego, którego hrabia Benedykt Henryk Tyszkiewicz odkrył, wysłał do konserwatorium w Warszawie i wspierał finansowo.

Dekoracja	stajni

Pomieszczenia zamkowe przystosowano do organizowania w nich różnego rodzaju imprez kulturalnych, a w mansardzie urządzono pokoje hotelowe. W budynku stajni-wozowni utworzono salę koncertową oraz kilka artystycznych pracowni. W dawnej lodowni znajduje się punkt informacji turystycznej, a w oranżerii jest teraz restauracja i kawiarnia, w których można zjeść jakieś regionalne danie czy wypić kawę, siedząc pod palmą lub drzewem cytrusowym. Dzięki tym wszystkim inwestycjom Czerwony Dwór stał się obecnie najciekawszym zabytkowym obiektem w okręgu kowieńskim, odwiedzanym masowo przez turystów nie tylko litewskich.