Miasteczko Retów i okoliczne dobra, leżące niegdyś w granicach Księstwa Żmudzkiego, a obecnie w okręgu telszańskim, 25 km na południe od Płungian, wchodziły w XV i XVI wieku w skład  dóbr stołowych Wielkich Książąt Litewskich. Prawdopodobnie w 1588 roku włości te wziął w dzierżawę hetman wielki litewski, Leon Sapieha. Po jego śmierci w 1633 roku przeszły one w ręce wojewody mińskiego, księcia Aleksandra Massalskiego, który zmarł w 1643 roku. Po dwóch latach, w 1645 roku, następnym dzierżawcą został książę Janusz Radziwiłł, a w 1661 roku - wojewoda wileński, Paweł Sapieha. Po trzech latach przejął go syn Pawła, Benedykt Sapieha, podskarbi wielki litewski, a od 1707 roku syn Benedykta, Michał Józef Sapieha, generał major wojsk litewskich, a w latach 1726-1738 wojewoda podlaski.
W 1732 roku Retów nabył pisarz wielki litewski i kasztelan żmudzki, Józef Benedykt Skumin-Tyszkiewicz (1694-1754) herbu Leliwa, żonaty z Teresą Niemirowicz-Szczyt (1708-?) herbu Jastrzębiec, by przekazać go synowi Krzysztofowi (1729-1762), staroście retowskiemu, który w 1748 roku ożenił się z Jadwigą Załuskówną (1726-1771) herbu Junosza. W 1763 roku, w rok po śmierci męża, Jadwiga z Załusków Tyszkiewiczowa wyszła za mąż za kasztelana trockiego i starostę oszmiańskiego, a od 1770 roku wojewodę trockiego, księcia Tadeusza Franciszka Ogińskiego (1712-1783), herbu Oginiec, właściciela olbrzymich majątków na Litwie, wnosząc mu w wianie Retów.
Nim Tadeusz Franciszek ks. Ogiński ożenił się z Jadwigą Załuskówną, był już żonaty z Izabelą Radziwiłł, księżną na Nieświeżu, która zmarła w 1763 roku. Z tego pierwszego małżeństwa miał syna Andrzeja Ignacego (1738-1783), kasztelana i wojewodę trockiego. Z kolei synem Andrzeja (z małżeństwa z Paulą Szembek ze Słupowa) był Michał Kleofas ks. Ogiński (1765-1833), podskarbi wielki litewski, pamiętnikarz i kompozytor, którego polonez Pożegnanie Ojczyzny jest do dzisiaj najsłynniejszym polskim polonezem. Zebrał on w swoich rękach trzy wielkie klucze majątkowe, odziedziczone po ojcu i stryju: Mołodeczno, Zalesie i Retów. Ten ostatni odkupił w 1812 roku od Płatona Zubowa, Rosjanina, generał-gubernatora Noworosyjska, który jego właścicielem stał się 6 lat wcześniej.
Michał Kleofas ks. Ogiński rezydował w Zalesiu. Żonaty był dwukrotnie: po raz pierwszy z Izabellą z Lasockich, po raz drugi z Marią de Neri. Syn z tego drugiego małżeństwa, Ireneusz Kleofas ks. Ogiński (1808-1863) odziedziczył Zalesie i Retów. Mieszkał on z matką w Zalesiu do jej śmierci w 1851 roku. Potem przeniósł się do Retowa i wybudował tam dla siebie pałac.

Pałac w Retowie na rysunku Napoleona Ordy

Była to budowla dwukondygnacyjna, piętnastoosiowa, postawiona na planie regularnego prostokąta, z pięcioosiową nadbudową nad częścią środkową, przed którą znalazł się portyk o dwóch arkadach od frontu i pojedynczych po bokach, dźwigający balkon otoczony żeliwną balustradą. Od skrajnych filarów portyku biegły ku podjazdowi dwa półkoliste murki. Na każdym z nich stały cztery kamienne wazony na kwiaty. Przy lewym narożniku wzniesiono czterokondygnacyjną, ośmioboczną wieżę, opilastrowaną na wszystkich narożnikach. Na dwóch dolnych kondygnacjach okna były prostokątne, na dwóch górnych zamknięte półkoliście, z tym że na ostatniej kondygnacji były one podwójne. Wieżę pokrywał ośmiopłatowy, płaski dach, nad którym sterczała iglica z chorągwią herbową Ogińskich. Elewacja ogrodowa była podobna do frontowej, tylko zamiast portyku znajdował się przed nią taras.

Filary bramy wjazdowej	na teren pałacowy

Po prawej stronie pałacu wybudowano oranżerię w kształcie podkowy. Połączono ją krótkim korytarzem z korpusem głównym oraz z palmiarnią postawioną bardziej na prawo, na planie koła. Palmiarnia została całkowicie oszklona, podczas gdy oranżeria miała duże okna typu porte-fenêtre. Nieco później, po lewej stronie pałacu zbudowano dwukondygnacyjną oficynę. Wyglądała ona jak boczne skrzydło pałacu, gdyż łączyła się bezpośrednio pod kątem prostym z korpusem głównym, a do tego wzniesiono na niej również wieżę, tylko nieco niższą od pałacowej i czworoboczną.
Roman Aftanazy podaje w Dziejach rezydencji na dawnych kresach Rzeczypospolitej, iż w retowskim pałacu znajdowało się ponad 20 sal i pokoi. W hallu, z oknami na przestrzał, zajmującym dużą przestrzeń w trójosiowej części środkowej, Ireneusz ks. Ogiński ustawił kompletne zbroje rycerskie z różnych epok. W późniejszych latach zbroje te przeniesiono do "sali rycerskiej", mieszczącej się po lewej stronie hallu, w trakcie frontowym. Za nią, w tym samym trakcie znajdował się gabinet księcia przylegający do wieży. Trakt ogrodowy tej części korpusu głównego zajmowały cztery pokoje mieszkalne. Na prawo od hallu znajdowały się cztery apartamenty z salonikami, wśród których wyróżniał się "salonik gdański", nazwany tak ze względu na meble pochodzące z Gdańska lub wzorowane na słynnych meblach gdańskich.
Klatka schodowa, znajdująca się w hallu vis-à-vis drzwi wejściowych, prowadziła na piętro, gdzie usytuowana była obszerna sala balowa, reprezentacyjna jadalnia, mała jadalnia, sypialnie i zwykłe pokoje mieszkalne.
W pałacu znajdowała się też galeria portretów rodzinnych, biblioteka zawierająca cenne starodruki, archiwum rodzinne i rodów z Ogińskimi spokrewnionych oraz eksponaty archeologiczne wydobyte podczas wykopalisk prowadzonych na terenie Żmudzi i Litwy.

Odrestaurowana powozownia

Dawny szpital

Oprócz pałacu książę Ogiński postawił szereg zabudowań gospodarczych. W 1859 roku założył szkołę rolniczą, a nieco później uruchomił fabrykę maszyn rolniczych. W 1853 roku rozpoczął budowę kościoła w stylu neoromańskim. Pracami na miejscu kierował Friedrich August Stüler, architekt króla pruskiego, Fryderyka Wilhelma IV, ale projekt wykonał polski architekt Gąsowski, przebywający w Rzymie.
Wokół pałacu założony został park o powierzchni około 60 hektarów. Przepływał przezeń strumień Jura zasilający kilka sadzawek i kanałów oraz duży staw utworzony przed pałacem, od którego oddzielał go rząd ozdobnych krzewów i szereg klombów kwiatowych. Wśród tych klombów stanęło dwanaście kamiennych posągów przedstawiających mitologiczne postaci.

Pałacowy park

Ireneusz Kleofas ks. Ogiński ożenił się z hrabianką Józefą Kalinowską (1816-1844), córką generała Wojska Polskiego, Józefa Kalinowskiego herbu Kalinowa i Emilii Potockiej herbu Pilawa (Złota). Nie doczekał się z nią dzieci, a kiedy zmarła w 1844 roku, pojął po pewnym czasie za żonę jej siostrę, Olgę. Druga żona dała mu dwóch synów, którzy odziedziczyli po nim majątek. Michał Mikołaj wziął Zalesie, a Bogdan Michał - Retów.
Bogdan Michał ks. Ogiński (1848-1909), kontynuował podjęte przez ojca prace. W 1874 roku zakończył budowę kościoła, uważanego za jeden z największych na Litwie, a który można określić jako trójnawową bazylikę w stylu weneckim. Systematycznie też uzupełniał ojcowski księgozbiór i gromadził archeologiczne eksponaty wydobywane na terenie Litwy, a zwłaszcza Żmudzi.

Budynek szkoły muzycznej

W 1873 roku założył szkołę muzyczną, a w 1883 roku - orkiestrę symfoniczną, złożoną z 60 muzyków, która koncertowała w parku i pałacu. W 1892 roku zbudował pierwszą na Litwie elektrownię wiatrową i poprowadził linię telefoniczną do Płungian, aby porozumiewać się za pomocą telefonu z bratem - Michałem Mikołajem. W kwietniu 1877 roku, wziął ślub w Krakowie z hrabianką Marią Gabrielą Potulicką (1855-1927) z Więcborga herbu Grzymała. Niestety, nie dochował się z nią dzieci i kiedy zmarł w 1909 roku, nie zostawił po sobie dziedzica. W tym samym roku w pałacu wybuchł pożar i wszystkie zgromadzone w nim zbiory spłonęły, z wyjątkiem niewielkiej liczby portretów.
W okresie międzywojennym majątek Ogińskich przejęło państwo litewskie. Wypalone mury pałacu rozebrano, aby pozyskać z nich cegły. Zachowały się natomiast budynki gospodarcze oraz szkoły muzycznej, szpitala i elektrowni, a także kaplica grobowa Ogińskich usytuowana na obrzeżu parku. Zabudowania te przetrwały również II wojnę światową i były wykorzystywane przez utworzony tutaj kołchoz oraz szkołę rolniczą. Po transformacji ustrojowej większość tych budynków została odrestaurowana.

Odbudowana w 1992 roku wieża elektrowni

Oczy zwiedzających szczególnie przyciąga odbudowana w 1992 roku wieża elektrowni, a także stajnia i wozownia wpisane na listę zabytków architektury oraz budynki dawnego szpitala i szkoły muzycznej. Odnowiono też kaplicę grobową Ogińskich, w której spoczywa ostatni pan na Retowie, Bogdan Michał ks. Ogiński i jego brat Michał Mikołaj, właściciel pobliskich Płungian. Pałacowy park został uporządkowany i jest to obecnie największy park krajobrazowy na Litwie, uznany za pomnik przyrody.