Pierwszym właścicielem i założycielem Białej Podlaskiej w drugiej połowie XV wieku był Piotr Montygerdowicz (?-1497) herbu Wadwicz, zwany "Białym", starosta bracławski i łucki, wojewoda trocki, marszałek ziemski litewski. W 1450 roku pojął za żonę Annę Wiązowiczównę (1430-? herbu Leliwa i miał z nią dwoje dzieci: syna Jana, który zginął w bitwie z wojskiem moskiewskim nad Wiedroszą w lipcu 1500 roku, oraz córkę Zofię (1459-?) - jedyną dziedziczkę jego wielkiego majątku, którego znaczną część, w tym dobra bialskie, wniosła w wianie do rodziny Kiszków, wychodząc w 1477 roku za mąż za hetmana wielkiego litewskiego Stanisława Kiszkę (1452-1514). Ich córka Anna (1480-1533) poślubiła najpierw (około 1510 roku) kasztelana trockiego, Stanisława Kieżgajło, a następnie (w 1513 roku) wyszła za mąż również za kasztelana trockiego oraz starostę słonimskiego i marszałka ziemskiego litewskiego, Jana Mikołaja Radziwiłła (1474-1522), wnosząc majątek bialski, który otrzymała jako posag, do rodziny Radziwiłłów. 

Anna Kiszkówna była trzecią żoną Jana Mikołaja Radziwiłła. Pierwszą zaś była Elżbieta Gasztołdówna (1474-1503) herbu Awdaniec, a drugą - księżna Bohdana Łukomska (1478-?) herbu własnego. Ta druga żona urodziła Janowi Mikołajowi dwie córki. Starsza z nich, Zofia (1502-1541) otrzymała od ojca jako posag włości bialskie i wniosła je w wianie staroście brzeskiemu, Szczęsnemu Iliniczowi (1510-1541) herbu Korczak, wychodząc za niego za mąż. Ich jedyny syn, Jerzy, zmarł bezpotomnie we wczesnej młodości, więc dobra bialskie powróciły do Radziwiłłów, a ich dziedzicznym właścicielem został syn Jana Mikołaja i Anny z Kiszków, Mikołaj ks. Radziwiłł "Czarny" (1515-1565) herbu Trąby, wojewoda wileński i marszałek wielki litewski, książę na Nieświeżu i Ołyce, żonaty z Elżbietą Szydłowiecką (1533-1562) herbu Odrowąż. Odtąd przez bez mała 300 lat miejscowość Biała pozostawał w rękach Radziwiłłów i po pewnym czasie zaczęła nosić nazwę Biała Radziwiłłowska lub Biała Książęca. 

Dziedzicem dóbr bialskich po Mikołaju Radziwille "Czarnym" został jego najstarszy syn, Mikołaj Krzysztof "Sierotka" (1549-1616), ordynat nieświeski, wojewoda trocki i wileński, marszałek wielki litewski, ożeniony w 1584 roku z Halszką Eufemią ks. Wiśniowiecką (1569-1596) herbu Korybut. Kolejnym właścicielem Białej został najstarszy syn "Sierotki", Jan Jerzy (1588-1625), ordynat nieświeski i kasztelan trocki, żonaty z księżną Eleonorą Ostrogską (1589-1618) herbu własnego, a po nim jego młodszy brat, Aleksander Ludwik (1594-1654), również ordynat nieświeski, wojewoda brzesko-litewski, marszałek wielki litewski, ożeniony po raz pierwszy w roku 1623 z Teklą Anną Wołłowicz (1608-1638) herbu Bogoria, po raz drugi w 1639 roku z Katarzyną Eugenią Skumin-Tyszkiewicz (1598-1646) herbu Leliwa, a po raz trzeci w roku 1642 z Marią Lukrecją de Strozzi (1623-1694). 

Zamek w Białej Radziwiłłowskiej na rycinie zamieszczonej w Tygodniku Ilustrowanym w 1863 roku

To właśnie Aleksander Ludwik ks. Radziwiłł rozpoczął na początku lat dwudziestych XVII stulecia budowę słynnej siedziby Radziwiłłów w Białej Radziwiłłowskiej, wynająwszy do jej prowadzenia lubelskiego mularza, Pawła Murzyna. Projekt zamku wykonał sam książę. Od południa dostępu do niego broniły rozlewiska rzeki Krzny, z pozostałych stron wykonano obwarowania z pięcioma bastionami. W ich obrębie powstał budynek pałacowy, postawiony na sklepionych piwnicach, na planie szerokiego prostokąta, zbliżonego do kwadratu, z fasadą znacznie poszerzoną długimi galeriami o sekwencji arkad. Jego korpus główny o dziewięcioosiowych elewacjach dłuższych był dwukondygnacyjny, z czterema trójkondygnacyjnymi, sześciobocznymi wieżami na narożach. W trójosiowej części środkowej elewacji frontowej, w obu jej kondygnacjach utworzono zamknięte półkoliście czterokolumnowe loggie. Tuż ponad nimi, w półpiętrze przebitym rzędem owalnych okulusów, powstały jeszcze trzy niskie loggie pozbawione kolumn. Elewacja ogrodowa nie posiadała loggii, na parterze znalazły się drzwi prowadzące do ogrodu, na piętrze - duże, szerokie okno między dwoma małymi i wąskimi. Znacznie później, w początkach XVIIII wieku zmieniono czterospadowy dach na poprzeczny dwuspadowy, a elewację frontową i ogrodową zwieńczono obszernymi, trójkątnymi szczytami, z trzema bardzo dużymi oknami, zamkniętymi półkoliście. W niewielkim ogzymsowanym przyczółku umieszczono dwie tarcze herbowe i mitrę książęcą. Po stronie wschodniej pałacu urządzono ogród, a poza obwarowaniami - zwierzyniec, w którym w pewnym okresie trzymano kilkaset danieli i mniejszą liczbę jeleni, saren i żubrów, a w oddzielnych zagrodach także niedźwiedzie i wilki, aby było na co polować.

Nie bardzo wiemy, jak wyglądały wnętrza pałacowe, bowiem brak jest przedstawiających je rycin. Zachował się jedynie, zamieszczony w "Kłosach" w 1868 roku, rysunek sali rycerskiej i to już znacznie zniszczonej. Wiadomo natomiast, iż układ komnat na obu kondygnacjach był taki sam. Środek parteru zajmowała podłużna sień o szerokości loggii. W obu ścianach dłuższych umieszczono po trzy drzwi prowadzące do sześciu reprezentacyjnych pomieszczeń. Na piętrze, dokładnie ponad sienią znajdowała się identyczna sala nazwana "Rycerską". Obie te sale oraz komnaty na parterze otrzymały sklepienia kolebkowe, bogato ozdobione sztukateriami. 

Wieża bramna z I połowy XVII wieku

 Aleksander Ludwik Radziwiłł rozpoczął tylko budowę zamku, dalsze prace przy jego wznoszeniu trwały jeszcze ponad 100 lat. Kontynuował je jego syn z pierwszego małżeństwa, Michał Kazimierz (1635-1680), kasztelan wileński i hetman polny litewski, żonaty z Katarzyną Sobieską (1634-1694) herbu Janina, a następnie syn Michała Kazimierza, Karol Stanisław (1669-1719), również ordynat nieświeski oraz kanclerz wielki litewski, żonaty od marca 1691 roku z Anną Katarzyną ks. Sanguszko-Kowelską (1676-1746) herbu Pogoń Litewska. Karol Stanisław ściągnął z Paryża architekta Andrzeja Jeziernickiego, którego zresztą wysłał tam na nauki, aby zaprojektował i zbudował wieżę wjazdową i bramę w kształcie rzymskiego łuku triumfalnego oraz ćwierćkolistą "szyję", łączącą te dwie budowle. Jeziernicki kierował też budową oficyn frontowych i tej, która znalazła się po stronie zachodniej.

Barokowa brama wjazdowa zbudowana w latach 1674-1675

Alegorie "Męstwa"	i "Sprawiedliwości"

W 1706 roku szwedzcy żołdacy podpalili pałac i znacznie go zniszczyli. Niemałe zasługi w jego odbudowie i rozbudowie, a zwłaszcza w dekoracji pomieszczeń zamkowych poniosła po śmierci Karola Stanisława Radziwiłła jego żona, księżna Anna Katarzyna, zawiadująca bialskim majątkiem w imieniu niepełnoletnich synów. Ściągnęła do Białej wielu rzemieślników i artystów z Francji, Włoch, Saksonii, no i z Polski, by uczynić ze swojej siedzibę pałacową rezydencję. Spośród zatrudnionych przez nią malarzy wyróżnić należy Jana de Fulchiego, Jana Konrada Blanka, Karola Gadomskiego, Stefana Cybulskiego, Antonia Mellano, Jana Benedykta Hoffmanna, a spośród rzeźbiarzy i snycerzy - Dominika Ciolliego, Dominika Monimelliego, Cyryla Masalskiego, Franciszka Bartłomieja Kwieka, Franza Pörnicha. Gruntowną przebudową wnętrz kierowali zagraniczni architekci: Aleksander von Berg, Africanus Goffaux i Jean Deshomme. Wcześniejsze malowidła naścienne wyszły spod pędzla Stefana Floriana Paszkowskiego w 1675 roku. Wszyscy ci artyści nie należeli do wybitnych twórców, niemniej ozdobili pałacowe wnętrza wcale udatnie.

Skrzydło boczne zachodnie

Elewacja ogrodowa skrzydła zachodniego

Po śmierci księżnej Anny Katarzyny dziedzicznym panem na Białej Radziwiłłowskiej został jej najmłodszy syn, Hieronim Florian Radziwiłł (1715-1760), starosta przemyski i krzyczewski, podczaszy wielki litewski i chorąży wielki litewski, ożeniony po raz pierwszy w 1740 roku z Teresą Sapieżanką (1715-1784) herbu Lis, po raz drugi w 1745 roku z Magdaleną Hutten-Czapską (1720-1763) herbu Leliwa i po raz trzeci w 1755 roku z Anielą Miączyńską (1731-1790) herbu Suchekomnaty. Zasłynął jako pan niezwykle okrutny i zwany był nawet "Okrutnym Księciem". Karał swoich poddanych za byle co i to w sposób sadystyczny. Pod zamkiem zbudował lochy, które zawsze pełne były więźniów, a on z lubością przysłuchiwał się ich jękom, mówiąc przy tym, iż nie ma dla niego milszej muzyki. Lubował się też w wojaczce i stworzył własne wojsko liczące kilka tysięcy jeźdźców i piechurów, a dowodzącym oddziałami sam nadał stopnie pułkowników i generałów. Wojsko to służyło mu do tłumienia chłopskich buntów na Litwie i Żmudzi oraz do pseudowojny z "królem sławacińskim", którego sam koronował i nadał mu "królestwo" w sąsiednim Sławacinku. Co pewien czas napadał na to "królestwo", gromił jego wojsko, a "króla" brał do niewoli, żeby zasądzić mu osobiście karę śmierci, a potem łaskawie darować życie i przywrócić "królestwo". Kiedy nie wojował, uganiał się za zwierzyną po okolicznych lasach, a niekiedy organizował w pałacowym teatrze przedstawienia inspirowane wydarzeniami w starożytnym Rzymie lub koncerty własnej orkiestry. Był też kuriozalnym kolekcjonerem  przechowującym zakonserwowane zwierzęce i ludzkie noworodki monstrualnie zniekształcone przez wady genetyczne.

Wieża w narożniku południowo-wschodnim skrzydła zachodniego	Wieżyczka kończąca niegdyś skrzydło wschodnie

Chociaż był trzykrotnie żonaty, zmarł bezdzietnie i bialski majątek odziedziczył jego bratanek, Karol Stanisław "Panie Kochanku" ks. Radziwiłł (1734-1790), ordynat nieświeski i ołycki, starosta lwowski i wojewoda wileński, żonaty po raz pierwszy z księżną Marią Lubomirską (1730-1790) herbu Drużyna, a po raz drugi z Teresą Karoliną Rzewuską (1742-?) herbu Krzywda. Podobnie jak "Książę Okrutny" również nie doczekał się potomstwa i jego spadkobiercą został bratanek, Dominik Hieronim Radziwiłł (1786-1813), ordynat na Nieświeżu i Ołyce, pułkownik wojska polskiego, ożeniony po raz pierwszy w styczniu 1807 roku z hrabianką Izabelą Elżbietą Wandalin-Mniszech (1790-1852) herbu Kończyc, a po raz drugi 1 marcu 1809 roku z Teofilą Murawską (1791-1828) herbu Dąbrowa. Był posiadaczem olbrzymich majątków na terenie zaboru rosyjskiego, nie miał jednak kiedy zajmować się nimi, gdyż ciągle wojował. Wziął udział w wyprawie Napoleona na Moskwę, a po bitwie pod Smoleńskiem odznaczony został Legią Honorową. Zmarł 11 listopada 1813 roku z powodu ran odniesionych w bitwie pod Hanau. W odwet za udział w kampanii napoleońskiej Rosjanie wywieźli do Moskwy kolekcję obrazów gromadzoną od XVII wieku, bogaty księgozbiór i rodowe archiwum. 

Kaplica zamkowa p.w. św. Jozafata z 1620 r. i wieżyczka skrzydła wschodniego

Dziedziczką dóbr bialskich została córka Dominika Hieronima  Radziwiłła z drugiego małżeństwa, Stefania (1809-1832), zamężna od 1828 roku za księciem Ludwikiem Adolfem Fryderykiem Sayn-Wittgensteinem (1799-1866), arystokratą pochodzenia niemieckiego w służbie rosyjskiej. Książęca para zamieszkała w Werkach pod Wilnem, zaś zadłużony majątek bialski został poddany licytacji, natomiast budynkiem pałacowym, należącym nadal do spadkobierców Dominika Hieronima Radziwiłła, opiekował się dawny dworzanin księcia Karola "Panie Kochanku".

Freski zdobiące wieżyczkę skrzydła wschodniego

Pałac pozbawiony gospodarza, doglądany tylko przez jednego i to starego klucznika, popadał szybko w ruinę. Tak pisał o jego stanie pod koniec lat dwudziestych XIX wieku Józef Ignacy Kraszewski: (...) naówczas główny korpus zamku się walił, kawały muru się osypały, oko sięgało do wnętrzów, deszcz i wicher gospodarowały w wielkich salach na pierwszym piętrze. (...) Pioruny i burze dokonały zniszczenia. Wjazdowa brama tylko i wieża nad nią utrzymały się w dobrym stanie.

Oficyna północno-wschodnia

A kiedy i klucznika nie stało, rozgrabiono resztki wyposażenia pałacowych komnat, a rozpadające się ściany rozebrano doszczętnie w 1883 roku, by uzyskaną cegłę użyć do budowy kamienic w mieście. Ocalałą wieżę bramną i oficyny zamieniono na więzienie. 

Oficyna północno-zachodnia

Córka książęcej pary, Stefanii i Ludwika Adolfa Sayn-Wittgensteinów, Maria (1829-1897) otrzymała jako posag okrojone włości bialskie, wychodząc za mąż w 1847 roku za przyszłego kanclerza Rzeszy i premiera Prus, księcia Chlodwiga Carla Victora Hohenlohe-Schillingfürsta (1819-1901). Właścicielami tego majątku byli kolejno: Skrzyńscy, Helena Kogan od 1898 roku i Albert Wielkopolski od 1912 roku. W 1922 roku pozostałości zespołu zamkowego odkupił Powiatowy Związek Samorządowy i przeprowadził rekonstrukcję zachowanych budowli, by jedną z nich - oficynę - przeznaczyć na starostwo. Po II wojnie światowej zajęła ją Powiatowa Rada Narodowa, a w latach 1975-1981 - Urząd Wojewódzki. Obecnie w wieży wjazdowej mieści się Muzeum Południowego Podlasia, a w oficynach - biblioteka, szkoła muzyczna i Miejski Ośrodek Kultury.