Pierwszym znanym właścicielem siedleckich włości był  Daniel Gniewosz (ok. 1450-?) herbu Kościesza, a po nim jego syn Stanisław. Nie wiemy, jak wyglądała ich siedziba, ale zapewne był to niezbyt okazały dwór drewniany. Następnymi znanymi właścicielami tych dóbr byli Olędzcy herbu Rawicz i oni około 1660 roku wznieśli na terenie dzisiejszych Siedlec dwór, o którego wyglądzie mówią już zapiski z 1698 roku. Był to budynek drewniany, parterowy, z piętrową facjatą, pokryty gontowym dachem. Na parterze mieściło się sześć pokoi, kuchnia i dwie sienie, w facjacie zaś - dwa małe pokoiki. Dworski park o charakterze włoskim urządzono na północ i zachód od dworu, a po stronie przeciwnej znalazły się budynki gospodarcze.

Tomasz Olędzki (1615-1678), kasztelan zakroczymski, żonaty z Anną Grzybowską (1619-?) herbu Prus (II - Wilczekłosy), doczekał się jedynej córki, Joanny Weroniki (1641-1688), która wychodząc w grudniu 1668 roku po raz trzeci za mąż za (żeniącego się również po raz trzeci) Michała Jerzego Czartoryskiego (1621-1692) herbu Pogoń Litewska, księcia na Klewaniu i Żukowie, wniosła mu w wianie siedleckie włości. Joanna Weronika i Michał Jerzy Czartoryscy mieli jednego syna, Kazimierza (1674-1741), który w 1699 roku został podczaszym wielkim litewskim, w 1707 r. - podskarbim wielkim litewskim, w 1712 r. - podkanclerzem litewskim, w 1724 r. - kasztelanem wileńskim, a w 1730 r. został kawalerem Orderu Orła Białego. I w tym samym, 1730 roku, postanowił wybudować w Siedlcach  godną książęcego rodu rezydencję.  Za jego więc sprawą w miejscu istniejącego wcześniej drewnianego dworu Olędzkich wzniesiono murowany pałac. Na planie prostokąta stanął budynek parterowy, pokryty dachem gontowym, z drewnianymi stropami i podłogami, mieszczący dwie duże sale reprezentacyjne, dwanaście pokoi i cztery garderoby. 

Pałac Ogińskich widziany z bramy wjazdowej

Kazimierz Czartoryski ożenił się w 1693 roku z hrabianką Izabelą Elżbietą Morsztynówną (1671-1758) herbu Leliwa, która urodziła mu trzy córki i czterech synów. Najstarszy syn, Fryderyk Michał (1696-1775), późniejszy kanclerz wielki litewski odziedziczył siedlecki majątek i przeprowadził w latach 1769-1770 generalny remont pałacu. W październiku 1726 roku ożenił się z Eleonorą Moniką Waldstein i miał z nią trzy córki i trzech synów, którzy zmarli wkrótce po urodzeniu. Najmłodsza córka, Aleksandra (1730-1798) odziedziczyła po ojcu siedlecki pałac. W 1748 roku wyszła za mąż za wojewodę podlaskiego, Michała Antoniego Sapiehę (1711-1760), a w rok po jego śmierci - za księcia Michała Kazimierza Ogińskiego (1728-1800) herbu Oginiec, kompozytora, pisarza, poetę i dramaturga, generała wojsk litewskich, od 1764 roku wojewodę wileńskiego, a w latach 1768-1793 hetmana wielkiego litewskiego.

Korpus główny pałacu

Wojewoda wileński i hetman wielki litewski zaabsorbowany twórczością artystyczną, a przede wszystkim  działalnością polityczną i gospodarczą (zbudował na Litwie wiele zakładów przemysłowych i połączył Dniepr z Niemnem kanałem Ogińskiego) nie miał  czasu zajmować się dobrami siedleckimi i pozyskaną siedzibą w Siedlcach. Czyniła to natomiast jego żona, Aleksandra  Ogińska. W  latach 1779-1781 przebudowała pałac, korzystając z planów Stanisława Zawadzkiego. Został on podwyższony o jedno piętro, zlikwidowano ganek przed elewacją frontową i w jego miejsce postawiono portyk, z czterema toskańskimi kolumnami w wielkim porządku, dźwigającymi trójkątny naczółek, dobudowano pod kątem prostym parterowe skrzydła boczne. 

Portyk

Na ostateczny kształt apartamentów usytuowanych na piętrze wywarł wpływ król Stanisław August Poniatowski. Gdy gościł w nich w 1781 roku, zwrócił uwagę na szereg niedogodności. Zostały one zlikwidowane i podczas drugiego pobytu w lipcu 1783 roku, król nie miał już do czego się przyczepić. W pałacu została urządzona sala ze sceną, na której Aleksandra Ogińska organizowała przedstawienia teatralne. Był na niej grany, na przykład, "Pigmalion" Jana Jakuba Rousseau czy opera komiczna "Cyganie", do której muzykę skomponował książę Michał Kazimierz Ogiński, a słowa napisał Franciszek Kniaźnin. Dzięki inicjatywie księżnej Aleksandry, siedlecki pałac począł pełnić rolę domu pracy twórczej, w którym pomieszkiwali i pisali tacy twórcy, jak właśnie Franciszek Kniaźnin, Franciszek Karpiński, Julian Ursyn Niemcewicz. W pałacu odbywały się koncerty, wieczory poetyckie, okolicznościowe uroczystości i festyny dworskie.

Elewacja ogrodowa pałacu

Aleksandra Ogińska zajęła się też parkiem, którego styl włoski przekształciła w angielski, wielce sentymentalny, z licznymi stawami, wysepkami, mostkami przerzuconymi nad kanałami, krętymi alejkami, z bezładnie - wydawałoby się - rosnącymi kępami krzewów i drzew. Wśród zieleni i cieków wodnych wyrosły altanki, łazienki, małe chatki, wiatrak, stajenka, dom rybaka, oranżeria, mały domek, w którym lubiła przebywać księżna. 

Fragment pałacowego parku

Po bezdzietnej śmierci Aleksandry i Michała Kazimierza Ogińskich właścicielką siedleckich włości została siostrzenica Aleksandry, Izabela z Flemmingów Czartoryska (1745-1835). Nie na długo jednak, bowiem wymieniła je na dobra rządowe (w Pruszczynie, Przybysławicach, Puchaczu, Tarnogórze i Zakrzówku) i w 1807 roku Siedlce stały się miastem rządowym, a pałac obiektem użyteczności publicznej. Umieszczono w nim prefekturę, kwatery oficerów carskich, szpital żołnierski i aptekę, a w budynkach gospodarczych stajnie i magazyny wojskowe, natomiast oranżerię parkową zamieniono na więzienie. W okresie międzywojennym stał się rezydencją biskupa Henryka Przeździeckiego i siedzibą kurii diecezjalnej. W latach 1924-1939 mieściło się w nim również Gimnazjum Biskupie im. Świętej Rodziny.

Brama wjazdowa

W czasie II wojny światowej w dawnej siedzibie Czartoryskich i Ogińskich rezydował niemiecki starosta powiatu siedleckiego, a pod koniec wojny strawił ją pożar. W 1950 roku pałac został odbudowany i przeznaczony na urzędy administracji państwowej i samorządowej, a w maju 2001 roku stał się własnością Akademii Podlaskiej. Jego stan techniczny, mimo przeprowadzonego w 1960 roku remontu, nie pozwalał na wykorzystanie go do celów naukowo-dydaktycznych i wymagał jak najszybszej renowacji. W pierwszym kwartale 2005 roku rozpoczęto program "Rewaloryzacja pałacu Ogińskich w Siedlcach - Rozwój Instytutu Informatyki Akademii Podlaskiej", który spowodował, że po trzech latach powstały w dawnej rezydencji magnackiej odpowiednie warunki do prowadzenia badań naukowych i kształcenia licznej rzeszy studentów. Obecnie mieści się w niej Uniwersytet Przyrodniczo-Humanistyczny w Siedlcach.