W 1486 roku król Kazimierz IV Jagiellończyk nadał swojemu pasznikowi, Pietraszkowi, dwa sioła w powiecie drohickim: Lipno i Żerebie Klimczyckie, czyli dzisiejsze Klimczyce. Nadanie to potwierdził w 1525 roku w Metryce Litewskiej król Zygmunt August. W 1570 roku Klimczyce były już wsią szlachecką, znajdującą się obok innych dóbr w rękach Adama Kosińskiego (1510-1574) herbu Rawicz, kasztelana podlaskiego, żonatego od 1570 roku z Anną Monwid-Irzykowiczówną herbu Leliwa. Ich córka, Katarzyna, wychodząc za mąż za Jana Mikołaja Wodyńskiego herbu Kościesza, sędziego ziemskiego w Drohiczynie, wniosła mu w wianie między innymi klimczycki majątek. Spadkobiercą Jana Mikołaja został jego jedyny syn, Jan Wodyński (1544-1616), kasztelan podlaski, ożeniony czterokrotnie. Dopiero czwarta żona, Zofia Sobieska (1582-?) herbu Janina urodziła mu męskiego potomka, Marka Wodyńskiego (1610-1643), który został dziedzicem jego dóbr. Zmarł on w młodym wieku, ale zdążył ożenić się dwukrotnie. Z drugą żoną, Heleną Zamojską (1603-?) z Zamościa herbu Jelita, miał córkę Konstancję (ok.1630-1682) i ona otrzymała jako posag Klimczyce, wychodząc za mąż. A wyszła, będąc damą dworu królowej Ludwiki Marii Gonzagi, za - mającego rodowe korzenie w Szkocji - Gotarda Wilhelma hr. Butlera (1598-1660) herbu Buttler III, podskarbiego i podkomorzego nadwornego koronnego, dowódcy straży przybocznej króla Jana Kazimierza. W 1662 roku we dworze w Klimczycach mieszkała Helena z Zamojskich Wodyńska z synem Janem. W dokumentach z 1674 roku jako właścicielka Klimczyc i Lipna widnieje Konstancja Butlerowa. Po jej śmierci w 1682 roku włości te przechodzą w ręce jej syna, Aleksandra Buttlera, który rok później występuje już jako właściciel nie tylko Klimczyc i Lipna, ale również Chlebczyna i Sarnak. Jego syn, Marek Antoni hr. Butler (1690-1767), starosta preński, ożeniony z Franciszką Szczukówną  odziedziczył po ojcu jego dobra, ale nie zamieszkał w Klimczycach ani w ich pobliżu, chociaż w 1716 roku uzyskał od króla Augusta II przywilej na organizowanie trzech jarmarków w Sarnakach. Przeniósł się do Frompola na Roztoczu i zajął tamtejszym majątkiem. Natomiast jego syn, Aleksander Łukasz (1711-1783), starosta mielnicki, poseł na sejm z ziemi podlaskiej, żonaty z Katarzyną Granowską, wybrał Klimczyce na swoją siedzibę, mimo że bardziej dbał o rozwój Sarnak i wystarał się nawet dla nich o prawa miejskie. Jedyna jego córka, Rozalia (1737-?), odziedziczyła Klimczyce i wniosła je w wianie Antoniemu Ossolińskiemu (1726-1776) herbu Topór, staroście sulejowskiemu, wychodząc za niego za mąż w 1757 roku. Syn Antoniego i Rozalii Ossolińskich, Stanisław (1760-1843), uczestnik Sejmu Czteroletniego, żonaty z Józefą Morsztyn (1760-1815) herbu Leliwa znacznie powiększył ojcowski majątek, nabywając w latach 1786-1802) szereg okolicznych folwarków. Nie mieszkał jednak w Klimczycach, lecz w sterdyńskim pałacu, który również odziedziczył po ojcu. Natomiast folwarki należące do dóbr klimczyckich oddawał w dzierżawę. Począwszy od 1832 roku poczęły one zmieniać właścicieli. Jedyna córka Stanisława Ossolińskiego, Emilia Anna Marianna (1790-1869), wychodząc za mąż za Józefa Wawrzyńca Macieja hr. Korwin-Krasińskiego (1783-1845) herbu Ślepowron, wniosła mu w wianie między innymi dobrami również Klimczyce. Po jego śmierci prawdopodobnie jego córka Marianna (1810-1862) wraz ze swoim mężem Kazimierzem hr. Łubieńskim (1801-1860) herbu Pomian sprzedała majątek klimczycki Joachimowi Podczaskiemu (1788-1855) herbu Rola, podpułkownikowi armii Królestwa Polskiego, oficerowi Powstania Listopadowego, żonatemu od stycznia 1829 roku z Józefą Chudzyńską (1810-?) herbu Cholewa. Małżonkowie Podczascy poczęli podnosić majątek z zapaści , której doznał nieprowadzony latami przez prawowitych właścicieli. Oni też poczęli wznosić nową siedzibę w miejsce starego, zapuszczonego dworu. Budowę dokończył ich syn, Bronisław Ignacy (1829-1887), ożeniony w listopadzie 1855 roku z Franciszką Katerlówną (1835-1904) herbu Poraj.

Dwór wzniesiony przed Podczaskich - fotografia z lat 30. ubiegłego wieku

Na planie wydłużonego prostokąta stanął budynek drewniany, parterowy, dziewięcioosiowy, przykryty wysokim, czterospadowym dachem gontowym, z dwoma półkolistymi lukarnami w obu dłuższych połaciach. W osi elewacji frontowej postawiono na wysokim tarasie portyk. Jego dwie drewniane kolumny podparły trójkątny naczółek przebity półkolistym okulusem. 

Portyk dworu - w głębi budynek kuchni

Obok dworu, po jego prawej stronie zbudowano kuchnię. Był to budynek murowany, dwukondygnacyjny, z przylegającą do niego dwupiętrową basztą, pokrytą namiotowym dachem. Prawdopodobnie przy jego wznoszeniu wykorzystano pozostałości istniejącego wcześniej w tym miejscu murowanego dworu.

Oficyna zwana kasztelem

W pobliżu dworskiej siedziby wzniesiono jeszcze oficynę nazwaną kasztelem. Z kamienia i cegły wymurowano dwukondygnacyjny budynek, dodając do niego małą, parterową oranżerię. Flankujące go dwie czworoboczne wieżyczki, z wąskimi, zamkniętymi ostrołukowo oknami, przykryte namiotowymi daszkami nadały mu cechy neogotyckiej budowli. W pewnej odległości od niej zbudowano jeszcze jedną oficynę - znacznie mniejszą, parterową, drewnianą, która zachowała się do dzisiaj.

Neogotyckie	wieżyczki

W tym samym czasie Podczascy założyli krajobrazowy park dworski, rozbudowali część gospodarczą, przeprowadzili meliorację gruntów, dzięki czemu wzrosły znacznie płody rolne, które mogli eksportować drogą wodną dzięki odnowieniu portu rzecznego na Bugu. Kiedy jednak po Powstaniu Styczniowym chłopi zostali uwłaszczeni, Podczascy stracili niemal połowę swoich gruntów oraz nieopłacanych robotników rolnych i ich gospodarka znacznie podupadła.

Pozostałości dworskiego parku

Po śmierci Bronisława Podczaskiego w 1887 roku jego synowie - Zygmunt i Józef Augustyn nie byli w stanie spłacić zaciągniętych długów i poczęli wyzbywać się swoich włości. Najpierw, w 1891 roku, sprzedali folwark Chlebczyn, później Bużkę, Rozwadów i Grzybów, zaś żeby korzystniej spieniężyć Klimczyce, zajmujące obszar 560 hektarów, podzielili je na kilka części - Klimczyce Adamów, Klimczyce Ferma, Klimczyce Górne, Klimczyce Marianki, Klimczyce Słowiki - które zresztą nie od razu udało się im sprzedać i niektóre z nich trzeba było podzielić na jeszcze mniejsze działki.  Klimczyce Ferma, zawierające zabudowania dworskie, czterokrotnie zmieniały właściciela, nim ostatecznie kupił je w 1916 roku Stanisław Nasiłowski.

Doktor Stanisław Nasiłowski

Stanisław Nasiłowski (1870-1928), żonaty z Gabrielą Józefą Michelis, właściciel majątku Puczyce był lekarzem i nabył Klimczyce Fermę nie tyle na własną siedzibę, ile na sanatorium przeciwgruźlicze, które chciał w tym miejscu utworzyć. W tym celu dokupił jeszcze w Bacikach Średnich dawny dwór myśliwski i przeniósł go do Klimczyc oraz zgromadził dużo sprzętu i narzędzi medycznych potrzebnych do leczenia chorych. Niespodziewany zgon nie pozwolił mu jednak na utworzenie nad Bugiem uzdrowiska. 

Po śmierci Stanisława Nasiłowskiego Klimczyce Fermę przejął jego brat Michał i w budynkach przeznaczonych pierwotnie na sanatorium organizował kolonie dla dzieci z Warszawy. Później, w latach trzydziestych okresu międzywojennego otworzył pensjonat rodzinny, prowadzony do wybuchu II wojny światowej przez Eugenię Dorochowicz.

W miejscu dawnego podjazdu założono sad

19 września 1939 roku do Klimczyc dotarli żołnierze Armii Czerwonej i zaczęła się powolna grabież i dewastacja zabudowań dworskich, trwająca zarówno podczas okupacji sowieckiej, jak i niemieckiej. Kiedy kończyła się II wojna światowa, główna siedziba dworska już nie istniała, podobnie jak i murowany budynek kuchni. Natomiast przeniesiony z Bacik Średnich drewniany dwór myśliwski został rozebrany zaraz po wojnie, a materiał uzyskany z rozbiórki wykorzystano do budowy okolicznych wiejskich domów.

Oficyna "kasztel" - elewacja południowa

Zachowała się natomiast murowana oficyna-kasztel, chociaż również była dewastowana przez okupantów. Przetrwała ona również lata powojennego niszczenia dawnych magnackich i szlacheckich siedzib i obecnie mieszka w niej wnuczka Michała Nasiłowskiego - Halina Sulej oraz jej syn - Ryszard Sulej.