Wieś Radoryż istniała już w początkach XV wieku. Nosiła wówczas nazwę Radorzisz, a wkrótce podzieliła ją granica między ziemią łukowską a stężycka na dwie części zwane Radoryż i Radoryżec, które nieco później nazwano Radorzis Magna i Radorzis Parva. Należała wtenczas do Radorziskich, którzy w XVI wieku zbudowali pałac i otoczyli go parkiem. W 1558 roku właścicielami Radorzisa, stanowiącego już jedną wieś, byli Gabriel i Zofia Radorzyscy, a w 1580 roku - Mikołaj Radorziski. Po Radorziskich właścicielem Radoryża został Mikołaj Sobieski, a po nim Jan Pękosławski. W wieku XVII należał do hrabiów Parysów i rodziny Leśniowskich. W tym czasie, w okresie potopu szwedzkiego dwór został zniszczony przez najeźdźców.

W 1781 roku majątek radoryski nabył Antoni Cieciszowski (1720-1792) herbu Pierzchała (Kolumna), sędzia ziemski stężycki, a następnie kasztelan połaniecki, żonaty z Ewą Szaniawską (1756-1812). Stał się on właścicielem nie tylko Radoryża, ale także Okrzei, Woli Okrzejskiej, Burca, Woli Burzeckiej, Jagodnego, Kłoczewa. Antoni Cieciszowski nie doczekał się potomstwa, więc zapisał większość swojego majątku kuzynowi - Adamowi Józefowi Cieciszowskiemu (1743-1783), pisarzowi wielkiemu koronnemu, ożenionemu z Teresą Lelewel von Lowensprung (1750-1815) herbu własnego. Natomiast Radoryż wydzierżawił lekarzowi włoskiemu Marsigliemu, który leczył schorowaną żonę kasztelana. Potem miał kłopot z jego odzyskaniem, gdyż włoski eskulap nie chciał opuścić radoryskiego dworu. Zmusił go do tego dopiero wyrok sądowy. 

Dwór z 1848 roku, przebudowany w okresie późniejszym

 Po Ciecioszowskich właścicielem Radoryża został spokrewniony z nimi August Szydłowski z Wielkiego Szydłowa (1813-1894) herbu Lubicz. Ożenił się w 1848 roku z Olimpią Zofią Ordęgą (1826-1906) herbu Łodzia i w tym samym roku zbudował w Radoryżu dwór. Był to budynek parterowy, częściowo podpiwniczony, postawiony na planie wydłużonego prostokąta, z mieszkalnym poddaszem, pokryty dachem dwuspadowym. Przed elewacją frontową zbudowano trójarkadowy portyk, prowadzący do głównego wejścia, nad który znalazła się we wnęce figura Matki Boskiej. Na dziedzińcu powstał owalny trawnik z kilkoma świerkami, a po jego bokach dwie oficyny ustawione prostopadle do dworu. Cały zespół otoczył park, w którym wyróżniały się kasztanowce, modrzewie i sosny amerykańskie. Poza parkiem rozciągał się sad owocowy.

Elewacja frontowa dworu

Olimpia Zofia i August Szydłowscy mieli pięć córek. Najmłodsza z nich, Ksawera Teresa (1865-1948) wyszła za mąż w sierpniu 1888 roku za Jerzego Potworowskiego (1857-1896) herbu Dębno, wnosząc mu w wianie majątek radoryski. Małżeństwo to miało troje dzieci: Gustawa Adolfa Mariana (1889-1951) - przyszłego dyplomatę, między innymi ambasadora Polski w Szwecji; Teresę Helenę Marię (1892-1978) - przyszłą żonę wybitnego polskiego filozofa Władysława Tatarkiewicza (1886-1980), który pomieszkiwał w radoryskim dworze; Marię Różę Aleksandrę (1895-1978) - przyszłą żonę Romana Dmochowskiego, doktora chemii rolniczej, autora naukowych książek z zakresu rolnictwa.

Jerzy Potworowski zachorował w 1896 roku na zapalenie wyrostka robaczkowego i mimo operacji wykonanej w Berlinie, zmarł. Opiekunem młodej wdowy z trójką nieletnich dzieci został Aleksander Makowski, mąż Władysławy Ortęgi - ciotecznej siostry Ksawery Teresy Potworowskiej. Zajmował się też majątkiem, czerpiącym dochód z hodowli zarodowej rasowych krów, hodowli ryb w dworskich stawach i wyrębu lasu. W miarę upływu czasu właścicielka majątku orientowała się coraz lepiej w jego prowadzeniu i stała się dobrą jego administratorkę i udzielała nawet porad okolicznym gospodarzom. 

Zachowany czworak

Po zakończeniu I wojny światowej ze studiów w Niemczech wrócił jej syn, Gustaw Adolf i on zajął się sprawami gospodarczymi. Trwało to do 1929 roku, kiedy to po naradzie rodzinnej postanowiono oddać majątek w dziesięcioletnią dzierżawę, z wyjątkiem dworu i parku. Dzierżawcą został Tadeusz Kossobudzki, ale nie wywiązywał się z nałożonych obowiązków i dzierżawę przejął Władysław Majewski, właściciel leżącej po sąsiedzku Niedźwiadki. Po wybuchu II wojny światowej majątek przejęli Niemcy i ustanowili swojego administratora. 

Zespół Szkół im. Władysława Tatarkiewicza

Po wypędzeniu Niemców z ziem polskich majątek w Radoryżu został rozparcelowany, a dwór przeznaczono na Powiatową Szkołę Gospodarstwa Wiejskiego, która z powodu braku uczniów została przekształcona w Ośrodek Przysposobienia Rolniczego działający w latach 1945-1947. Po jego likwidacji zorganizowano Kurs Administracji Rolnej, a następnie Gimnazjum Rolnicze, a po nim - Liceum Io dla Dorosłych, które zakończyło działalność w czerwcu 1951 roku. W 1954 roku dwór i grunty rolne stały się własnością Państwowego Gospodarstwa Rolnego, ale rok później dwór stał się siedzibą Technikum Rolniczo-Łąkarskiego, którego uczniowie pojawili się dopiero w 1957 roku. Wtedy też rozpoczęto budowę w pobliżu starego dworu budowę nowego gmachu szkolnego i internatu. W 1977 roku w miejsce Technikum Rolniczo-Łąkarskiego utworzono Zespół Szkół Rolniczych, funkcjonujący do 2002 roku. W jego miejsce utworzono zespół szkół, w którego skład weszło Liceum Ogólnokształcące i Technikum w zawodzie technik ekonomista  oraz szkoły zaoczne: Szkoła Policealna dla Dorosłych, Technikum dla Dorosłych w zawodzie technik rolnik, a od 2008 r. Liceum Ogólnokształcące dla Dorosłych. Od 2006 roku nosi on nazwę Zespół Szkół im. Władysława Tatarkiewicza.