Pierwszymi znanymi właścicielami majątku Hanuszyszki (lit. Onuškis), położonego w rejonie rakiszeckim, tuż przy dzisiejszej  granicy z Łotwą, byli Rajeccy herbu Łabędź. Ich rodowym gniazdem był Rajec koło Radomska, skąd w początkach XVI wieku Jan Rajecki przeniósł się na Litwę, by po długiej służbie w wojsku litewskim za panowania Zygmunta Starego osiąść w województwie trockim. Jego synowie, Kasper i Baltazar pełnili urzędy chorążego i wojskiego trockiego.   Syn Baltazara i Świętosławy Okuń, Gedeon Dunin-Rajecki (1589-1654) herbu Łabędź, deputat do Trybunału Litewskiego i wojewoda miński, żonaty z Elżbietą Tyzenhauz (1590-1639) herbu Bawół stał się właścicielem Hanuszyszek i wielu innych włości położonych w powiecie wiłkomirskim i upickim. Przekazał on hanuszyski majątek i kilka pomniejszych dóbr najmłodszemu synowi (a miał ich trzech), Jerzemu Zygmuntowi (1620-1688), marszałkowi wiłkomirskiemu i deputatowi do Trybunału Litewskiego, który wraz z żoną, Eufrozyną z Mleczków (1630-?) herbu Korczak ufundował pierwszy katolicki kościół w Hanuszyszkach, chociaż wcześniej był wyznania kalwińskiego. Ponieważ zmarł bezpotomnie, jego żona, Eufrozyna, przepisała Hanuszyszki i inne liczne dobra należące do niego swojej siostrze Eufemii i jej dzieciom, Marcjanowi i Krystynie Chaleckim.

Pałac w Hanuszyszkach w roku 1875 na akwareli Napoleona Ordy

Po Chaleckich przez pewien czas właścicielami Hanuszyszek byli Chomińscy herbu Lis. W księdze parafialnej można znaleźć zapis, iż w 1775 roku Hanuszyszki należały do Benedykta i Zofii Chomińskich. Ich jedyny syn Konstanty (1740-?), żonaty z Anną Mohl (1750-?) najprawdopodobniej sprzedał ten majątek w 1801 roku. A kupił go Józef Komar z Bejsagoły (1770-1847) herbu własnego, żonaty z Teklą Zyndram-Kościałowską (1770-1855) herbu Syrokomla. Zgromadził on w swoich rękach olbrzymią fortunę, bowiem oprócz Hanuszyszek nabył jeszcze Czadosy i kilka sąsiednich majątków, posiadał już Bejsagołę i Poniemuń oraz odziedziczony po ojcu Rogówek i Poławeń. Podczas insurekcji kościuszkowskiej wystawił własnym sumptem pułk wojska, na którego czele wziął udział w bitwie pod Salatami, rozegranej 29 lipca 1794 roku, podczas której wojsko rosyjskie dowodzone przez księcia Golicyna doznało sromotnej porażki. W czasach Księstwa Warszawskiego posłował na sejm, a w latach późniejszych pełnił urząd prezydenta Sądu Głównego w Wilnie.

Najstarszemu spośród trzech synów Józefa Komara, Teofilowi, przypadły w spadku Hanuszyszki oraz Poniemuń i Czadosy. Drugi z kolei, Władysław (1810-1896) otrzymał Bejsagołę i kilka innych, nie tak rozległych dóbr, zaś najmłodszy, Konstanty (1813-1880),  został dziedzicem na Rogówku i Poławeniu.

Pałac Komarów zamieniony na ruinę przed stu laty

Teofil Komar (1800-1861), żonaty z Rachelą Meysztowiczówną z Pojościa (1819-1972) herbu Rawicz zbudował w Hanuszyszkach w latach 1830-1840 późnoklasycystyczny pałac, według projektu Wawrzyńca Cezarego Anichiniego. Stanął on, założony na planie prostokąta, na wysokich suterenach, na niewielkim wzgórzu, tuż przy gościńcu biegnącym z Hanuszyszek w kierunku Kurlandii. Trzyosiowa część środkowa fasady skierowanej ku ogrodowi była piętrowa, a czteroosiowe skrzydła boczne - parterowe. Przy ich skrajnych osiach zbudowano na planie kwadratu luźno stojące piętrowe pawilony, z płaskimi dachami otoczonymi balustradową attyką. Dwukondygnacyjną część środkową poprzedził portyk z czterema jońskimi kolumnami w wielkim porządku, które dźwigały gładkie belkowanie i trójkątny fronton przebity niewielkim okulusem. Za kolumnami portyku znalazł się balkon, na który można było wyjść z pomieszczenia na piętrze przez trzy porte-fenêtry. Elewacja skierowana ku dziedzińcowi posiadała w części środkowej półkolisty ryzalit, oflankowany dwiema półkolumnami i dwiema kolumnami. Przed tym ryzalitem postawiono portyk identyczny jak przed fasadą. I do jednego, i do drugiego prowadziły wysokie, kamienne schody.

Portyk przed elewacją ogrodową	Portyk przed fasadą

Zarówno część środkową, jak i skrzydła boczne pokrył dach dwuspadowy. Gzyms poddachowy, obiegający skrzydła parterowe był płaski, słabo profilowany, natomiast w części piętrowej i na frontonach portyków zastosowano gzyms kroksztynowy. Płaszczyzny międzyokienne na wszystkich elewacjach ozdobiono wąskimi pilastrami o jońskich głowicach. Nie wiemy, jak wyglądały wnętrza pałacowe, bowiem nie trafiliśmy na żadne ich opisy. 

Fasada

Teofil Komar miał dwóch synów: Józefa (1840-1886), ożenionego z hrabianką Gabrielą Anną Starzeńską (1845-1930) herbu Lis i Władysława (1848-1896), ożenionego z Marią Kierbedziówną (1850-1932) herbu Ślepowron, oraz dwie córki: Marię (1840-?), wydaną za Henryka Węcławowicza, właściciela Burbiszek koło Onikszt i Felicję (1844-1891), zamężną za Stanisławem Ignacym Mohlem (1821-1894). W Hanuszyszkach pozostał młodszy syn Teofila, Władysław, któremu Maria z Kierbedziów urodziła troje dzieci: Eugenię (1871-1952), Witolda (1872-1919) i Zofię (1874-1944). Po śmierci ojca Władysław tylko 10 lat gospodarzył w Hanuszyszkach - zmarł w 1896 oku. Kiedy nastała I wojna światowa, pałac został spalony i potem już nigdy nie odbudowany. Jego formalny właściciel, Witold Komar, ożeniony z Marią Starzeńską herbu Doliwa, zmarł w 1919 roku bezdzietnie. Po parcelacji majątku w 1923 roku w wyniku reformy rolnej dziedziczkami resztówki pozostawały do II wojny światowej córki Władysława Komara, Eugenia, zamężna za Edwardem hr. Ronikierem (1860-1893) herbu Gryf i Zofia, która wyszła za mąż za Stanisława Niezabytowskiego (1868-1918) herbu Lubicz. 

Oficyna

Ani po pierwszej, ani po drugiej wojnie światowej pałac nie został odbudowany i nadal straszą jego ruiny, chociaż można w nich doszukać się pewnej malowniczości. Zachowała się też oficyna i kilka budynków gospodarczych (spichlerz, stajnia, lodownia, kuchnia), w dużym stopniu jednak zniszczone. Cały zespół otacza 12-hektarowy, zdewastowany park, który niegdyś miał charakter parku krajobrazowego.