Pierwszym znanym właścicielem dóbr Kozirynek (tak nazywał się niegdyś Radzyń Podlaski) był Bartłomiej Kazanowski (1482-1556) herbu Grzymała, sędzia ziemski łukowski, kasztelan zawichojski, dworzanin króla Zygmunta I. W 1521 roku ożenił się z Katarzyną Markuszowską, a rok później zaczął budować w Kozirynku ufortyfikowaną siedzibę. Wkrótce powstał zamek otoczony wysokim murem, z czterema basztami w narożach. W 1540 roku Kazanowscy utracili te włości, a przejął je Mikołaj Mniszech  (1484-1553) herbu Kończyc, podkomorzy wielki koronny, żonaty z Barbarą Kamieniecką (1520-1569) herbu Pilawa. Dość surowy stylowo zamek nie odpowiadał mu, więc przebudował go na siedzibę pałacową, ale również ufortyfikowaną. Wzniósł też renesansowy kościół p.w. Trójcy Świętej, w którym dzisiaj możemy zobaczyć nagrobek z czerwonego marmuru z figurami przedstawiającymi jego syna, również Mikołaja (1564-1597) i synową, Zofię z Działyńskich (1566-?) herbu Ogończyk. 

Ufortyfikowany pałac Mniszchów nie przetrwał potopu szwedzkiego i w jego miejsce następny właściciel Radzynia Podlaskiego, Stanisław Antoni Szczuka (1652-1719) herbu Grabie, sekretarz króla Jana III Sobieskiego, zbudował w latach 1685-1709 barokową rezydencję typu palazzo in fortezza. Zaprojektował ją Augustyn Locci, twórca pałacu w Wilanowie, a budowę prowadził francuski architekt de Flerience. Stanisław Antoni Szczuka ożenił się w 1695 roku z Konstancją Marią Anną Potocką (1676-1733) herbu Pilawa (Srebrna) i miał z nią trzech synów i dwie córki. Starsza z nich, Wiktoria (1701-1735), wyszła za mąż za Jana Stanisława Kątskiego (1696-1727) herbu Brochwicz, generała-majora  wojsk koronnych. Ich jedyna córka, Marianna (1722-1768), wychodząc za mąż w 1741 roku za Eustachego Potockiego z Podhajec (1720-1768) herbu Pilawa (Srebrna), starostę dubieńskiego, grabowieckiego, urzędowskiego i tłumackiego, a w późniejszym czasie generała artylerii Wielkiego Księstwa Litewskiego i marszałka Trybunału Głównego Koronnego, wniosła mu w wianie wraz z majątkiem pałac radzyński.

Korpus główny pałacu od strony dziedzińca

Generał Eustachy Potocki, jeden z najbogatszych magnatów w Polsce, uważał, że zbudowany przez Stanisława Antoniego Szczukę pałac obronny jest dla niego zbyt ubogą rezydencją. Zbudował więc w latach 1750-1759 imponujący pałac barokowy o typie założenia entre cour et jardin, którego istotą jest usytuowanie głównego budynku pałacowego pomiędzy dziedzińcem honorowym a częścią ogrodową. Zaprojektował go warszawski architekt, włoskiego pochodzenia, Jakub Fontana. 

Ryzalit elewacji frontowej

Dwukondygnacyjny korpus główny postawiono na planie wydłużonego prostokąta i przykryto czterospadowym dachem. Siedemnastoosiowa elewacja frontowa została wzbogacona trzema trzyosiowymi ryzalitami. W środkowym, najbardziej wydatnym, pięciobocznym, znalazły się główne drzwi wejściowe. Podwyższony on został o mezzanino i zwieńczony attyką z dużą koroną, panopliami i kartuszami herbowymi Kątskich (Brochwicz) i Potockich (Pilawa).

Kartusze herbowe Kątskich i Potockich

Duże okna zamknięto łukami koszowymi. Środkowe okno na piętrze typu porte-fenêtre umożliwiało wyjście na niewielki balkon, wsparty na dużych kroksztynach i otoczony żeliwną balustradą. Ryzality boczne, mniej wydatne, z oknami prostokątnymi, zwieńczono również attykami, na których wśród motywów roślinnych znalazły się kartusze z inicjałami Marii Kątskiej i Eustachego Potockiego oraz po dwa putta na flankach. 

Elewacja ogrodowa

Elewacja ogrodowa, piętnastoosiowa otrzymała tylko jeden ryzalit - trzyosiowy i trzykondygnacyjny, oflankowany na drugiej i trzeciej kondygnacji parami jońskich pilastrów. Zwieńczył go półkolisty fronton, z płaskorzeźbioną sceną zalotów Zefira do Flory. Ponad nim umieszczono jeszcze dwa putta, a po bokach dwie postaci kobiece wzięte z mitologii. 

Ryzalit elewacji ogrodowej

Skrzydła boczne dobudowano do korpusu głównego pod kątem prostym i połączono z nim parterowymi galeriami od strony dziedzińca i piętrowymi pseudoalkierzami od strony ogrodu, a zakończono szerszymi, dwukondygnacyjnymi pawilonami, mającymi przypominać bastiony. Parterowe skrzydło wschodnie przeznaczone zostało na pomieszczenia gospodarcze i stajnie, w zachodnim zaś - parterowym od strony dziedzińca, a piętrowym od miasta - znalazły się głównie pokoje mieszkalne.

Skrzydło boczne zachodnie

Pośrodku obu skrzydeł usytuowano bramy przejazdowe, zwieńczone bogato zdobionymi wieżami. Ta w skrzydle zachodnim otrzymała najbogatszą w całym zespole pałacowym dekorację.

Brama w skrzydle zachodnim

W jej centrum znalazły się zwieńczone koroną kartusze herbowe Potockich i Kątskich, otoczone motywami rocaille'owymi, z dwoma puttami, armatnią lufą i sztandarem. Po bokach usytuowano dekoracje militarne: bęben wojskowy i chorągiew - od południa, a z drugiej strony - hełm z pióropuszem i sztandar oparty o drzewo. Akroteriony bramne stanowiły dwie postaci kobiet, symbolizujące Architekturę Cywilną i Wojskową. Od strony północnej stoi Architektura Cywilna oparta o kolumnę, z której zwisa plan zespołu pałacowego. W prawej ręce trzyma cyrkiel, w lewej - zwój papieru, zapewne zapisanego. Towarzyszący jej putto trzyma pod pachą kątomierz. Po przeciwnej stronie Architektura Wojskowa trzyma w lewym ręku plan jakiegoś bastionu, oparty o model baszty. Obok siedzi na cokole putto, trzymając w rękach otwartą książkę.

Dekoracja bramna

Po przeciwnej stronie dekorację bramnej wieży tworzą dwie postaci Herkulesa walczącego z Cerberem strzegącym Hadesu i z wielogłową Hydrą. Herkules zdobi również bramę w skrzydle wschodnim. Tam walczy z lwem nemejskim i bykiem kreteńskim.

Herkules walczący z Cerberem	i wielogłową Hydrą

Wszystkie te rzeźby, zdobiące radzyński pałac, a jest ich kilkadziesiąt, są dziełem Johanna Chryzostoma Redlera, który pracował nad nimi przez kilkanaście lat. Miały one ukazać magnacką rezydencję jako gniazdo cnót i rycerskiego męstwa oraz świadczyć o aspiracjach artystycznych i wielkiej miłości łączącej Mariannę i Eustachego Potockich.

Wnętrza pałacu nie zachowały się do naszych czasów, zostały zniszczone w wyniku podpalenia w 1915 roku przez wycofujące się wojsko rosyjskie i w 1944 roku przez żołdaków niemieckich. Wiemy, że były one bogato zdobione w stylu rokoka francusko-saskiego i miały układ dwutraktowy na obu kondygnacjach. Reprezentacyjne pomieszczenia znajdowały się w korpusie głównym, a duży salon i bawialnia zajmowały całą szerokość budynku, powiększoną w tym miejscu przez ryzality. Wykwintna klatka schodowa mieściła się w wielobocznym ryzalicie od strony dziedzińca.

Pałacowy park został urządzony również według planów Jakuba Fontany. Prace przy nim rozpoczęto w 1755 roku i prowadził je znany ogrodnik, Dawid Knackfus. Najefektowniejszą budowlą parkową stała się oranżeria, zaprojektowana także przez Fontanę. Zwieńczenie jej portalu, przedstawiające rydwan Apolla zaprzężony w trzy rumaki, uważane jest przez wielu za najlepszą rzeźbę rokokową w Polsce. 

Oranżeria

Marianna i Eustachy Potoccy mieli pięciu synów: Kajetana (1745-1803), Romana Ignacego Franciszka (1750-1809), Jerzego Michała (1753-1792), Stanisława Kostkę (1755-1821) i Jana Nepomucena Eryka (1760-1815) oraz jedną córkę - Cecylię Urszulę (1747-1772). Wszyscy synowie brali udział w obradach Sejmu Czteroletniego, a dwaj z nich - Roman Ignacy Franciszek i Stanisław Kostka - byli współtwórcami Konstytucji 3 Maja i w radzyńskim pałacu redagowali tekst słynnej Ustawy Rządowej. Kiedy w 1767 roku Cecylia Urszula wychodziła za mąż za księcia Hieronima Jana Sanguszkę Kowelskiego (1743-1812) herbu Pogoń Litewska, ślubu w radzyńskim kościele udzielił im biskup warmiński, Ignacy Krasicki, a na jego i państwa młodych cześć 100 znajdujących się w obrębie pałacu dział oddało palbę. 

Na przełomie XVIII i XIX wieku dobra radzyńskie znalazły się w posiadaniu Sapiehów z Kodnia herbu Lis. W 1817 roku księżna Anna Zofia Sapieżanka Kodeńska (1798-1864), wychodząc za mąż za księcia Adama Jerzego Czartoryskiego (1770-1861) herbu Pogoń Litewska, wniosła Radzyń do rodziny Czartoryskich. Nie na długo jednak, bowiem już w 1834 roku był on własnością rodziny Korwin Szlubowskich. A stało się tak dlatego, iż po wybuchu Powstania Listopadowego Adam Jerzy Czartoryski został wybrany prezesem Rządu Narodowego, a po klęsce powstania musiał udać się na emigrację, gdyż car Mikołaj I wydał na niego wyrok śmierci. W celu uchronienia dóbr Czartoryskich przed konfiskatą, sprzedano w styczniu 1834 roku majątek radzyński za pośrednictwem hrabiego Konstantego Zamojskiego, XIII ordynata na Zamościu Antoniemu Walentemu Szlubowskiemu (1776-1848) herbu Ślepowron, właścicielowi wielu dóbr w powiecie włodawskim. Był on od 1810 roku żonaty z Kunegundą Karską (1793-1853) herbu Boleści i miał z nią trzech synów i dwie córki. Majątek radzyński odziedziczył drugi z kolei syn, Stanisław Florian (1816-1895), sędzia pokoju powiatu radzyńskiego. Otrzymał on od papieża Piusa IX tytuł hrabiowski z dewizą Amor patriae nostra lex (Miłość ojczyzny naszym prawem) i odtąd  nosił nazwisko Korwin Szlubowski. Jego poczynania powodowały, że majątek dobrze prosperował. Dochody czerpał z odziedziczonej po ojcu dużej owczarni oraz z produkcji i sprzedaży alkoholu, a poza tym zbudował cukrownię wytwarzającą cukier z buraków, jedną z pierwszych pięciu w Królestwie Polskim.

Główna brama wjazdowa

Stanisław Florian Korwin Szlubowski ożenił się w 1850 roku z Bogumiłą Bronisławą Prendowską (1831-1855) i miał z nią czworo dzieci, które po śmierci ojca zostały spadkobiercami radzyńskich włości w równych częściach. Wkrótce jednak jedynym dziedzicem tych dóbr został Bronisław Feliks (1855-1939), bowiem dwie jego siostry, Maria (1853-1918) i Konstancja (1855-1901), zrzekły się swoich części na jego rzecz, a starszy brat, Henryk (1852-1889), zadowolił się folwarkami Kostunin i Białka. Bronisław Feliks Korwin Szlubowski, żonaty od 1892 roku z Zofią Chłapowską (1869-1961) herbu Dryja, był ostatnim prywatnym właścicielem radzyńskiego majątku, który w miarę upływu lat coraz bardziej podupadał. Największy regres nastąpił podczas I wojny światowej. Najpierw, w 1915 roku, wycofujący się rosyjscy żołnierze ogołocili pałac z najcenniejszych dzieł sztuki, a później dalsze zniszczenia dokonały oddziały niemieckie stacjonujące w Radzyniu do jesieni 1918 roku. W tej sytuacji Bronisław Feliks i Zofia Korwin Szlubowscy postanowili w 1920 roku przekazać pałac i 35 morgów otaczającej go ziemi na własność Skarbu Państwa, a sami przenieśli się do pałacyku "Gubernia" znajdującego się na terenie folwarku Kozirynek. 

W okresie międzywojennym w radzyńskim pałacu mieściły się urzędy starostwa, a od stycznia 1940 roku - administracja okupacyjnych władz. W 1944 roku wycofujące się wojsko niemieckie podpaliło pałac. Po wyzwoleniu dawny majątek Szlubowskich objęty został reformą rolną, pałac zaś został odbudowany w 1960 roku i stał się siedzibą urzędów powiatowych. W 1980 roku przeprowadzono jego gruntowny remont, po którym wprowadził się do niego sąd oraz kilka instytucji kulturalnych. Znalazła się wśród nich Szkoła Muzyczna im. Karola Lipińskiego. 

Karol Józef Lipiński (1790-1861), wybitny muzyk, urodził się w radzyńskim pałacu, gdyż Potoccy zatrudnili jego ojca, Feliksa Lipińskiego, kapelmistrza, do prowadzenia orkiestry pałacowej. Dzisiaj jest on już nieco zapomniany, ale zasłynął w swoich czasach jako niezwykle uzdolniony dyrygent, kompozytor, a przede wszystkim skrzypek. Koncertował nawet z Paganinim, który wyrażał się o nim w samych superlatywach, i otrzymał nawet od niego - zapisane w testamencie - jego koncertowe skrzypce. Kiedy Paganiniego zapytano kiedyś, kto jest najlepszym wirtuozem na świecie, odpowiedział: Nie wiem, kto jest najlepszym, ale drugim jest na pewno Karol Lipiński. Radzynianie nie zapomnieli o swoim rodaku. Upamiętnia go pomnik postawiony przy zachodnim skrzydle pałacu oraz organizowane od 1980 roku w Radzyniu Podlaskim Dni Karola Lipińskiego.