Pierwsze wzmianki o Prużanie pochodzą z drugiej połowy XV wieku. Należały one wówczas do księcia Iwana Siemionowicza Kobryńskiego, który swoją siedzibę miał w sąsiednim Dobuczynie. Nazwa Prużana miała ponoć pochodzić od prosa uprawianego w dużych ilościach na okolicznych ziemiach. Natomiast niezbyt znana legenda mówi, iż uchodzący przed prześladowaniami Krzyżaków Prusowie osiedlili się w pobliżu Dobuczyna i swojej osadzie nadali nazwę Prussany lub Prussiany. Książę Iwan starał się o nadanie Prużanie praw miejskich, a w 1473 r. wraz z żoną Fiedorą, córką Iwana Rohatyńskiego, ufundował w nich cerkiew p.w. Bożego Narodzenia. Po wygaśnięciu linii męskiej rodu Kobryńskich na księciu Iwanie jego dobra stały się królewszczyzną. Król Zygmunt Stary pozostawił jednak na nich księżnę Fiedorę i przyczynił się do wydania jej za mąż za Jurija Pacewicza.
Tymczasem leżący po sąsiedzku Kobryń należał do siostry ostatniego z książąt Kobryńskich, Anny, zamężnej za Wacławem Kostewiczem. Po jej śmierci w 1513 r. dobra te przeszły na własność męża, który został pierwszym kobryńskim starostą. Kiedy zmarł w 1533 r., klucz kobryński stał się królewszczyzną, należącą do małżonki króla Zygmunta. Królowa Bona odnowiła w 1534 r. prużański kościół katolicki, ufundowany w roku 1522 przez Wacława Kostewicza i przekształciła niewielką osadę w miasteczko, łożąc na to niemałe fundusze. Prawa miejskie magdeburskie nadała Prużanie w 1588 r. córka Bony, królowa Anna Jagiellonka i ona ustanowiła dla miasta herb w postaci wijącego się węża trzymającego w paszczy dziecko, wzorując się na herbie rodzinnym Sforzów.

Hale targowe	Herb Prużan	Kościół katolicki p. w. Wniebowzięcia NMP

Po trzecim rozbiorze Polski caryca Katarzyna II przydzieliła klucz prużański gubernatorowi Ukrainy, feldmarszałkowi Piotrowi Rumiancew-Zadunajskiemu, za skuteczne tłumienie insurekcji kościuszkowskiej. Odprzedał on wkrótce te dobra Pawłowi Jagminowi, właścicielowi majątku w Wistyczach, byłemu wiceadministratorowi dóbr królewskich ekonomii brzeskiej, marszałkowi szlachty powiatu kobryńskiego, uczestnikowi powstania kościuszkowskiego, któremu po upadku powstania udało się wkraść w łaski władz carskich. Uzyskał on od nich tytuł radcy stanu oraz kilka odznaczeń, co pozwoliło mu z nastaniem XIX wieku powiększyć znacznie swoje włości przez dokupienie między innymi Prużany i Dywina. Dobra po nim odziedziczył w 1808 r. jego bratanek, również Paweł, i on sprzedał Prużanę i Białosowszczyznę, obejmujące około 4000 dziesięcin ziemi, Piotrowi Szwykowskiemu herbu Ogończyk, posiadaczowi dużych majątków na Litwie i Białorusi. Nowy właściciel zbudował w Prużanie drewniany dwór, z mansardowym piętrem, „angielską kuchnią” i oranżerią. Istniejące już wcześniej zabudowania folwarczne składały się z domu zarządcy, spichlerza, stajni, owczarni, stodoły, kuźni, szopy, lodowni, sklepu dla włościan. Z przeprowadzonego w 1846 r. inwentarza prużańskiego majątku dowiadujemy się, że jego właścicielami byli już wówczas synowie Piotra Szwykowskiego, Walenty i Michał. W 1847 r. nastąpił rozdział nabytych od Pawła Jagmina włości: Walenty zatrzymał Prużanę, Michał zaś wziął Białosowszczyznę.

Pałacyk Szwykowskich

Walenty Szwykowski (1817-1900) ukończył uniwersytet w Dorpacie i znany był z wielkiej erudycji, osobistej kultury i działalności społecznej. Organizował teatralne i muzyczne wieczory oraz liczne loterie dla pozyskania środków na budowę kościoła, w Dobuczynie zbudował szkołę dla wiejskich dzieci, za jego staraniem powstała w Prużanie poczta i biblioteka. Posiadał też własny bogaty księgozbiór, z którego chętnie korzystał zaprzyjaźniony z nim Józef Ignacy Kraszewski, przyjeżdżający często do Prużany z niezbyt odległego Romanowa. W 1841 r. Walenty Szwykowski ożenił się z Herminją Ważyńską, a w 1854 r. został marszałkiem szlachty powiatu prużańskiego. Mniej więcej w tym samym czasie rozpoczął budowę nowej siedziby w Prużanie. Zaprojektował ją znany włoski architekt, mieszkający stale w Warszawie, Franciszek Maria Lanci (1799-1875), w postaci pałacyku przypominającego włoską willę o nieregularnym kształcie, z jedno- i dwukondygnacyjnymi korpusami, licznymi tarasami i balkonami, półokrągłą werandą i dominującą nad całością bryły czworoboczną wieżą.

Fragment parku	Zabytkowy mostek

Pałacyk otoczony został krajobrazowym parkiem o powierzchni 8 ha, z licznymi stawami, kanałami i przerzuconymi nad nimi mostkami. Znalazła w nim również miejsce oranżeria, w której rozmiłowany w ogrodnictwie Walenty Szwykowski hodował drzewa cytrusowe, palmy i szereg innych egzotycznych roślin, wynoszonych na okres letni w donicach do parku.

Oranżeria

Rok 1863 przyniósł kres jego działalności. Po upadku powstania styczniowego majątek został skonfiskowany, drzewa i krzewy sprowadzone z ciepłych krajów zabrane do carskiego pałacu w Białowieży, a Walenty Szwykowski udał się na emigrację. Wyjechał do Belgii, gdzie pracował jako ogrodnik, żona natomiast została w Prużanie. Po czterech latach udało się Szwykowskiemu wrócić do kraju i odzyskać majątek. Teraz jego głównym celem stało się zbudowanie kościoła. Dopiął tego w 1884 r. Cztery lata później umarła jego żona. On mieszkał jeszcze nadal samotnie w pałacyku (jedyne jego dziecko zmarło z powodu gruźlicy w wieku kilku lat), ale w 1895 r. sprzedał majątek hrabiemu Włodzimierzowi Klejnmichelowi i wyjechał do Warszawy, gdzie zakończył życie w 1900 r. Po śmierci wrócił jednak do Prużany, by spocząć w jednej mogile z żoną na prużańskim cmentarzu.

Grób Herminji i Antoniego Szwykowskich na prużańskim cmentarzu	Tablica nagrobna Szwykowskich

Włodzimierz hr. Kleinmichel, syn Piotra Kleinmichela, zarządcy głównych dróg rosyjskiego imperium, budowniczego pierwszej rosyjskiej kolei Petersburg – Moskwa i ulubieńca cara Mikołaja I, kupił Prużanę na prezent dla swoje córki Wiery na jej osiemnaste urodziny. W 1900 r. Wiera Kleinmichel wyszła za mąż za gruzińskiego księcia Dymitra Dżambakurian-Orbelianiego. Książę był dyplomatą i stale przebywał na placówce w Niemczech, natomiast jego małżonka letnie miesiące spędzała w Prużanie. Przyjmowała wówczas w swoim pałacyku miejscową szlachtę i inteligencję, wśród której szczególną sympatią darzyła pewnego nauczyciela. Z upodobaniem pijała z nim kawę w przypałacowym parku, pod starym płaczącym jesionem. Gdy wybuchła rewolucja październikowa pani na Prużanie uciekła na Krym do swojej ciotki, Katarzyny Kleinmichel, a stamtąd do Paryża. Po śmierci ks. Dymitra Dżambakurian-Orbelianiego  w 1922 r. wdowa po nim wyszła ponownie za mąż za Wadima Szebekę. W wyniku tego drugiego małżeństwa przyszła na świat córka Wiera, która została ostatnią właścicielką pałacu w Prużanie, będącego w okresie międzywojennym siedzibą władz powiatowych. 

Obecnie w pałacyku Szwykowskich mieści się muzeum regionalne

II wojnę światową budynek pałacowy przetrwał w dość dobrym stanie. Po wojnie mieściło się w nim przedszkole. Na początku lat 90. XX w. rozpoczęto jego generalny remont. Zakończono go w 1999 r. i udanie odrestaurowany pałacyk wraz z oranżerią przeznaczono na muzeum regionalne, w którym część pomieszczeń pełni rolę muzeum szlacheckiego dworu.