Nastał dopiero rok 1437, kiedy książę litewski, Michał Zygmuntowicz, nadał wójtowi tykocińskiemu, Piotrowi Gumowskiemu, dobra Choroszcza. Był to fragment puszczy, zwanej wówczas „roszczą”, ze świętym gajem na wzgórzu Świtkowizna, które z czasem zmieniło nazwę na Babia Góra. Tam to miejscowa, pogańska ludność składała ofiary słowiańskiemu bóstwu – Światowitowi. Aby wyplenić ze swoich ziem pogaństwo, Piotr Gumowski zbudował w założonej przez siebie osadzie kościół i już w 1459 r. obdarzył go dwoma włókami ziemi i dochodem z dwóch karczem.
Wkrótce Choroszcza – czy już może Choroszcz – stała się własnością wojewody kijowskiego, Jana Chodkiewicza, a kiedy umarł on w 1485 r., jego syna Aleksandra, który w 1507 r. wystarał się u króla Zygmunta Augusta o prawa miejskie dla szybko rozrastającej się osady. Chociaż Aleksander Chodkiewicz był wojewodą nowogródzkim i w Nowogródku powinien stale rezydować, w Choroszczy zbudował sobie około 1530 r. obszerny dwór drewniany, usytuowany na wzniesieniu znajdującym się przy dzisiejszej ulicy Zamkowej. W 1587 r. Anna Chodkiewiczówna wniosła go w wianie wraz z dobrami choroszczańskimi Pawłowi Pacowi. Ich spadkobierca, Stefan Mikołaj Pac, uważał ten dwór za swoją rezydencję, nawet wówczas, gdy został wojewodą trockim i biskupem wileńskim. On to sprowadził do Choroszczy w roku 1654 dominikanów i wybudował im drewniany kościół i klasztor, które przetrwały – wprawdzie w bardzo zmienionym kształcie – do naszych czasów. Dwór natomiast nie zachował się, strawił go jeden z dwóch wielkich pożarów, które w 1683 i 1707 r. zniszczyły doszczętnie miasto. Kolejnym właścicielem Choroszczy był generał Jerzy Wandalin Mniszech. Od niego odkupił ją w 1703 r. wraz z przyległymi wsiami Stefan Mikołaj Branicki, by 6 lat później pozostawić w spadku swojemu synowi, Janowi Klemensowi.

Letnia rezydencja Branickich w Choroszczy

Pan na „Wersalu Podlaskim”, bywalec królewskich pałaców nie zamierzał odbudowywać starego dworu, chciał natomiast mieć letnią siedzibę w sielskim otoczeniu, której nie powstydziłby się przed koronowanymi głowami. Wybrał ku temu miejsce za miastem, na prawym brzegu Horodnianki, niedaleko jej ujścia do Narwi. Na sztucznie utworzonej wyspie, otoczonej czworobokiem kanałów, stanął w latach 1725-1730 pałacyk. Był to późnobarokowy budynek, wzorowany na wiejskich rezydencjach francuskich wielmożów. Nawet u samych Francuzów wzbudzał zachwyt. Przybyły prosto z Paryża ambasador, hrabia de Broglie, nie mógł się nadziwić wspaniałościom choroszczańskiego pałacyku, a jego rodak, również dyplomata, Pierre Hennin, stwierdził, iż poza Francją nigdzie nie widział „przyjemniejszego domu na wsi”.
Niestety, budowlę wzniesiono na podmokłym gruncie, jej ściany poczęły pokrywać się brzydkimi naciekami, a potem murszeć i rozpadać się. W 1757 r. kazał więc Branicki pałacyk rozebrać i po osuszeniu terenu postawić go w tym samym miejscu, w takim samym kształcie. Jego projektantem mógł być Jan Zygmunt Deybel lub Jan Henryk Klemm. Budowę prowadził na pewno Józef Sękowski, wnętrza zdobili malarz Antoni Herliczka i nadworny snycerz Branickiego, niejaki Wojciech, zaś parkiem i ogrodami zajmował się francuski inżynier, Pierre Ricaud de Tirregaille.
W latach 1760-1763 kompleks pałacowo-ogrodowy nabrał ostatecznego wyglądu. Prowadziła do niego od strony miasta brama połączona murem z kordegardą i domkiem odźwiernego. Za nią rozciągał się dziedziniec paradny, obsadzony 26 kasztanowcami i obrzeżony po bokach przez dwie piętrowe oficyny: gościnną i kuchenną. Na ich tyłach usytuowano owocowe sady. Spoza oficyn wyłaniały się – również dwukondygnacyjne – gościnne pawilony, stojące na przedłużeniu poprzecznego kanału, nad którym przerzucono murowany mostek wiodący na cour d’honneur.
Dziedziniec paradny znajdował się więc już na wyspie i wysiadając na nim z powozu można było podziwiać fasadę pałacu. Wzrok przyciągały przede wszystkim płaskorzeźby z panopliami, popiersia na konsolach, tympanon z kartuszami herbowymi Branickich i Poniatowskich, amorki wieńczące fronton, lukarny ożywiające obszerny dach.

Tympanon z kartuszami herbowymi Branickich i Potockich

Wnętrze pałacu jeszcze bardziej zachwycało: posadzki z marmurów; podłogi z dębowego drewna; ściany w boazeriach, obiciach, sztukateriach, malowidłach; marmurowe kominki, saskie i gdańskie piece z pięknie zdobionych kafli; wielkie zwierciadła w misternie cyzelowanych ramach; pozłacane lichtarze, kinkiety, świeczniki; naścienne malowidła Antoniego Herliczki; obrazy Franciszka Smuglewicza, Szymona Czechowicza, Augustyna Mirysa, Antoniego Albertrandego. Umeblowanie było w najlepszym gatunku i najmodniejsze; wszędzie tykały paryskie zegary; na stolikach, kominkach, konsolkach, półeczkach stały wazy, patery, kryształy, naczynia i figurki z porcelany chińskiej i miśnieńskiej.

Latarnik w pałacowym westybulu

Wszystkie pokoje na parterze, nawet sypialnia pana i pani domu z łożami ukrytymi w alkowach dostępne były dla zaproszonych osób i tak urządzone, aby wywrzeć na nich niezatarte wrażenie. Najbardziej reprezentacyjnym pomieszczeniem była sala balowa, tworząca amfiladę z dwoma małymi salkami po bokach. Na piętrze znajdowały się sypialnie dla gości. Jadalnia, sala bilardowa ozdobiona 47 olejnymi obrazami, pokoje z garderobami, przeznaczone dla odwiedzających, mieściły się w oficynach i gościnnych pawilonach.

Pokój poprzedzający gabinet Jana Klemensa Branickiego

Salon z portretem Jana Klemensa Branickiego wg obrazu Marcello Bacciarellego	Pokój Jaśnie Pani z portretami Izabeli Branickiej i Stanisława Augusta Poniatowskiego

Elewacja ogrodowa pałacu wychodziła na 40-hektarowy park. Jego oś widokową stanowił kanał długości 430 metrów, przedłużony szeroką aleją kończącą się sztucznie usypanym wzniesieniem. Stała na nim piętrowa altana z pruskiego muru umożliwiająca oglądanie rozległej panoramy nadnarwiańskich łąk. Jej piwnica służyła za lodownię.

Elewacja ogrodowa pałacu

Tuż za pałacem zaczynały się francuskie partery, z których wyrastały kamienne posągi i drewniane filary dźwigające metalowe, pozłacane wazy, a u ich stóp niskie żywopłoty z bukszpanu formowały rokokowe arabeski. Partery biegły po obu stronach kanału, obrzeżone po bokach drewnianymi arkadami i szpalerami wysoko strzyżonych lip. Szpaler zachodni przerywała efektowna brama, za którą w odległej perspektywie widoczne były trzy stawy obsadzone nisko strzyżonymi lipami. Po przeciwnej stronie rozciągał się „dziki” park, kryjący w gąszczu okrągły staw z kamiennym posągiem Diany.
Podczas prac melioracyjnych wykopano szereg rowów odwadniających i sadzawek, koryto Horodnianki przeniesiono w ten sposób, aby stanowiło ono południowo-zachodnią granicę parku. Wzdłuż rzeki wytyczono aleję mijającą wyspę z chińską altanką, do której dostać się można było po drewnianych mostkach. Altanka ta miała dwie kondygnacje, obie murowane. Na parter prowadziły cztery wejścia; jego wewnętrzne ściany były zielone, ozdobione figuralnymi malowidłami. Na piętro, zaopatrzone w cztery okna, można było dostać się po wewnętrznych schodach. Ściany drugiej kondygnacji zdobiły ptaki malowane al fresco. Na północ od chińskiej altany rozciągał się las poprzecinany wytyczonymi prosto drogami. Jedna z nich wychodziła na koniec głównego kanału, gdzie znajdował się niski trelliage oflankowany drewnianymi pilastrami, na których drewniane putta podtrzymywały bogato zdobione wazony ze sztucznymi drzewami wykonanymi z blachy. W lesie przylegającym od południowego wschodu do parku wycięto dukty, krzyżujące się pod kątem prostym, przeznaczone do spacerów i polowań. Na ich krańcach ustawiono ozdobne bramki, ułatwiające myśliwym złożenie się do strzału.
W odległości mniej więcej 200 metrów od pałacu od kanału głównego odchodziły dwa poprzeczne ramiona. Jedno z nich kończyło się wysepką zajętą przez chińską altankę, drugie prowadziło do Diany wyrzeźbionej z drewna. Na skrzyżowaniu dróg wodnych przecinały się równocześnie cztery alejki wysadzane lipami, tworząc razem z kanałami ośmioramienne rozdroże. Z tego miejsca, w którą by nie pójść stronę, trafiało się na jakąś ogrodową rzeźbę, trelliage lub pergolę z kwiatami, altanę porośniętą dzikim winem.

Mostek nad boczną odnogą kanału

Park wzbudzał u gości Branickich prawdziwy zachwyt. Jeden z nich, autor pamiętników wydanych w 1876 r., Marcin Matuszewicz, tak opisuje urodziny Izabeli Branickiej obchodzone w jej letniej rezydencji: Jak corocznie się praktykuje, na trzeci dzień, to jest na dzień urodzenia samej hetmanowej, jadą wszyscy do Choroszczy, gdzie dziwnie piękny pałacyk i ogród z wielkimi kanałami i różnymi batami. Tam tedy obiad bywa solenny, także z biciem z armaty. Po obiedzie chodzą państwo po ogrodzie, inni batami się wożą. Potem, skoro zmierzchać zacznie, iluminacja nad kanałami i w dalekiej perspektywie będącej sali zapaloną bywa; a potem kosztowne fajewerki...
Kiedy szczególnie dostojni goście przyjeżdżali do Choroszczy, urządzano dla nich w parku polowanie. Jedno z nich opisuje dokładnie król Stanisław August Poniatowski: Przez kilka dni hetman wielki podejmował i obwoził króla (Augusta III) i cały jego dwór; urządził mu między innymi w Choroszczy świetną zabawę, zupełnie w jego guście. Mnóstwo dzikiego zwierza, przywiezionego w klatkach do lasków tego rozkosznego miejsca, pędzono po wąskiej drożynie z desek między dwiema ścianami aż po wierzchołki drzew rosnących nad kanałem, tam znajdowały się urządzone pułapki, przez które zwierzyna z wysokości trzydziestu stóp spadała do wody, co dawało królowi sposobność strzelania w lot, gdy zechce do wilków, dzików i niedźwiedzi; psy myśliwskie u stóp drzew czekały na te zwierzęta, aby je ścigać na ziemi i wodzie, aż póki się królowi nie spodoba do nich strzelać. Jeden z tych niedźwiedzi, spotkawszy czółno, wlazł na przód jego, chcąc się uchronić od psów, młody Rzewuski, brat marszałka, zmarły później w Wiedniu, i Sauli, pierwszy urzędnik saski z biura spraw zagranicznych, schronili się na tył czółna, gdzie był przewoźnik, lecz tak je przechylili, że wywróciło koziołka; niedźwiedź po raz drugi zakreślił wielki łuk w powietrzu i wpadł do wody tuż koło tych panów, dla których wszystko się skończyło na strachu, a ich przygoda bardzo zabawiła króla.
Pałacowy park był świadkiem nie tylko hucznych, niezbyt wyszukanych uciech, ale i cichych, sekretnych spotkań Izabeli Branickiej z generałem Andrzejem Mokronowskim. Nie ma dowodów na to, że hetman wiedział o tych schadzkach. Jeśli mu nawet o nich donoszono, nie dawał tego poznać po sobie, a może nie przywiązywał do nich zbyt wielkiej wagi. Nie było w każdym bądź razie z ich powodu żadnych awantur. A kiedy w 1771 r. odszedł z tego świata osiągnąwszy lat 82, młodsza od niego o lat 41 Izabela wydała się potajemnie za przystojnego i jeszcze młodego generała. Utrzymywała potem swoje zamążpójście w sekrecie, żeby nie stracić praw do hetmańskiego majątku.

Kanał główny w pałacowym parku

Izabela zmarła w 1808 r. i wówczas jej dobra stały się własnością rodziny Potockich. Choroszcz przypadła w udziale córce Jana Potockiego, starosty kaniowskiego, Mariannie, żonie ministra rządu Królestwa Kongresowego, Tadeusza Mostowskiego, a w 1824 r. jako posag ich córki, Pelagii Mostowskiej przeszła w ręce Komarów. W tym czasie zaczął się upadek choroszczańskiej rezydencji. Miasto i folwark oddano w dzierżawę, w jednej z oficyn założono włókienniczą manufakturę, a kiedy w 1831 r. pod leżącą po sąsiedzku Złotorią doszło do bitwy między powstańcami a wojskiem rosyjskim, pałac został poważnie uszkodzony.
W 1840 r. całe założenie pałacowo-parkowe nabył na zasadzie dzierżawy wieczystej niemiecki przedsiębiorca, Christian August Moes, mający za wspólnika starszego brata Friedricha, i przekształcił je w osadę fabryczną z osiedlem robotniczym, sklepami, domem modlitwy i szkołą. W zabudowaniach folwarcznych urządził fabrykę włókienniczą, wytwarzającą sukno, kort i koce, pałac zaś przeznaczył na siedzibę dyrekcji, własną rezydencję oraz mieszkania dla samotnych urzędników fabrycznych. Jego najstarszy syn, Carl August, który po śmierci ojca w 1870 r. przejął fabrykę, musiał spłacać zaciągnięte wcześniej kredyty, przeciwstawiać się złej koniunkturze na wyroby włókiennicze, toczyć sądowy spór z ówczesną właścicielką Choroszczy, Honoratą z Komarów de Mauney. Mimo to wzniósł szereg budynków fabrycznych i rozbudował pałac, dodając mu z obu stron trójosiowe ryzality. Przy okazji zasypał część ogrodowych kanałów.

Zaniedbana alejka parkowa

Kolejny Moes, Carl August II, wnuk Christiana Augusta, objął kierownictwo rodzinnego przedsiębiorstwa w 1888 r., po śmierci swego ojca – Carla Augusta, mając zaledwie 22 lata. Mimo młodego wieku świetnie radził sobie z zarządzaniem największym na Białostocczyźnie zakładem przemysłowym. Chociaż przejął go w kwitnącym stanie, ciągle unowocześniał budynki i maszyny fabryczne, dbał o jakość produkowanych materiałów, zdobywał za nie medale na wystawach. Oddawał się chętnie pracy społecznej: przez wiele lat był członkiem rady miejskiej, honorowym sędzią pokoju, członkiem okręgowej izby podatkowej.
Zmodernizował też pałac: do strony wschodniej dodał nową część z przeszkloną werandą, pełniącą rolę oranżerii, nad którą znalazła miejsce obszerna sala, przeznaczona na bale i teatralne przedstawienia. Przed frontową elewacją zbudował fontannę w kształcie kobiecej postaci, umieszczoną pośrodku okrągłego gazonu. Zmienił również kompozycję parku, wytyczając nowe alejki obsadzone świerkami, dębami i lipami, nad kanałami poprzerzucał mostki, chińską altankę na wyspie zamienił na ażurową.
Koniec epoki Moesów w Choroszczy nastąpił w 1915 r. Władze carskie nakazały wywieźć w głąb Rosji maszyny fabryczne, surowce i gotowe materiały, właścicielowi wraz z rodziną i pracownikami narodowości niemieckiej ewakuować się do Witebska, a budynki fabryczne i pałac wysadzić w powietrze. Chociaż działania I wojny światowej zakończyły się już po trzech latach, Carl August II nie wrócił już nigdy do swojego choroszczańskiego przedsiębiorstwa. Zakończył życie w Innsbrucku, w 1929 r.
Zburzone przez wycofujące się wojska rosyjskie zabudowania pałacowe pozostawały w ruinie przez następne pół wieku. Wprawdzie w latach trzydziestych zrekonstruowano jeden pawilon, ale za to drugi oraz obie oficyny i dobudowane przez Carla Augusta Moesa ryzality pałacu zostały rozebrane. W latach następnych, szczególnie podczas II wojny światowej, ruiny pałacu i pozostałych budynków oraz park uległy dalszej dewastacji.
Po wojnie folwark został przekształcony w gospodarstwo pomocnicze dla szpitala dla nerwowo i psychicznie chorych, który wcześniej, w 1929 r., wprowadził się do budynków fabryki Moesów. W latach sześćdziesiątych pałac został odbudowany według projektu znanego białostockiego architekta, Stanisława Bukowskiego, tego samego, który kierował odbudową „Wersalu Podlaskiego”. Od 1974 r. w pałacu mieści się Muzeum Wnętrz Pałacowych, będące filią Muzeum Podlaskiego w Białymstoku. Muzeum to jest również właścicielem parku, któremu systematycznie, aczkolwiek niespiesznie stara się przywrócić wygląd z czasów Jana Klemensa i Izabeli Branickich.