Wprawdzie dwór utożsamiany powszechnie z Kamiennym Dworem został wybudowany dopiero w 1937 roku na zlecenie wdowy po marszałku Piłsudskim, ale siedziba dworska w Wólce Pietkowskiej (powiat bielski) istniała już od początków XVII wieku. Należała ona wówczas do niejakich Karpiów. Po 1640 roku stała się własnością Brzozowskich, zaliczanych do średnio zamożnej szlachty, i weszła w skład majątku Pietkowo. Sto lat później i Pietkowo, i Wólka Pietkowska były już w posiadaniu bogatej rodziny Kuczyńskich. W 1798 roku Dominik Kuczyński sprzedał pietkowskie dobra Hieronimowi Starzeńskiemu ze Strabli i odtąd należały one do jednego z najmożniejszych na Podlasiu rodów.

Odnowiony dworek Starzeńskich

Za Starzeńskich, w latach czterdziestych XIX wieku, pojawił się w Wólce Pietkowskiej, w założonym dużo wcześniej ogrodzie, nowy dwór. Został on zbudowany z drewna i otynkowany, a zaprojektowano go w „stylu sarmackim”, to znaczy łączącym w sobie elementy baroku i klasycyzmu. Był parterowy, wzniesiony na planie wydłużonego prostokąta, z czterokolumnowym, toskańskim portykiem, zwieńczonym trójkątnym frontonem, nakryty czterospadowym dachem z naczółkami. Elewacja frontowa skierowana została w stronę dziedzińca gospodarczego, a tylna – w kierunku rozległego parku krajobrazowego. Właściciel majątku, Kazimierz Starzeński, ożeniony w 1842 roku z Zofią Ożarowską, nie korzystał z tego dworu; zamieszkiwali go dzierżawcy, a on sam przebywał stale w Pietkowie lub Warszawie.

Elewacja ogrodowa dworku Starzeńskich

W końcu XIX wieku folwark w Wólce Pietkowskiej przeszedł w ręce rodziny Kosińskich. Właściciele nowo wydzielonego majątku zamieszkali we dworze i chcieli, aby pełnił on rolę ziemiańskiej rezydencji. Rozbudowali go, niezbyt zresztą udolnie, co widać dzisiaj po niesymetrycznym układzie okien w obu elewacjach. Kosińscy wprowadzili nowe koncepcje gospodarowania na roli i zajęli się ogrodnictwem. Założyli kilka sadów, ogradzając je kamiennymi murami. Z powodu tych murów ich siedzibę zaczęto nazywać „Kamiennym Dworem”.
Nowy rodzaj gospodarki nie przyniósł spodziewanych dochodów i w połowie lat trzydziestych XX wieku Wólka Pietkowska czy też Kamienny Dwór został wystawiony na licytację. Kupiła go niedawno owdowiała Aleksandra Piłsudska za pieniądze otrzymane w darze od wojska. Pani marszałkowa nie miała jednak zamiaru mieszkać w „starym” dworze, postanowiła wybudować sobie i córkom nową siedzibę. Zaprojektował ją jeden z młodych architektów tzw. szkoły warszawskiej – prawdopodobnie inżynier Protasiewicz, mąż słynnej aktorki, Jadwigi Smosarskiej.

Letnia rezydencja Aleksandry Piłsudskiej

 
Już w 1937 roku w północnej części parku stanął nowy, murowany dwór, o niezbyt określonym stylu. Związki z tradycją wyrażały się wysokim, czterospadowym dachem na parterowym budynku i czterokolumnowym portykiem zwieńczonym trójkątnym frontonem, zaś elementy nowoczesności to nieregularność całej bryły i układu okien oraz zastosowanie nieobrobionych kamieni tworzących wysoki cokół obok gładkiego muru ścian. Przed frontem znajdował się klomb obrzeżony żywopłotem i półkolisty podjazd, z którego można było dostać się bezpośrednio – z pominięciem dziedzińca gospodarczego – na aleję prowadzącą do szosy łączącej Brańsk z Łapami. Wyrosła zatem prawdziwa rezydencja godna pani marszałkowej, zaś stary dwór Starzeńskich pełnił odtąd funkcję oficyny i rządcówki.

W 1937 roku zbudowano kamienny dwór w niezbyt określonym stylu

Do Kamiennego Dworu przyjeżdżała Aleksandra Piłsudska z córkami Wandą i Jadwigą na lato. Jechały zwykle pociągiem z Warszawy do Łap, a z Łap wolantem do Kamiennego Dworu. Był to typowy pobyt wakacyjny. Chociaż przeznaczano go na odpoczynek, pani marszałkowa wiele czasu poświęcała na kontakty z ludnością okolicznych wsi, nie szczędząc jej swojej pomocy. Przybierała ona różną formę. Już dzięki samej budowie dworu mieszkańcy Wólki Pietkowskiej otrzymali pracę. Później byli angażowani do wytyczania dróg spacerowych, budowy ogrodzeń, wznoszenia mleczarni, melioracji łąk, sadzenia żywopłotów i nowych drzew owocowych, sprowadzanych z Wileńszczyzny. Zatrudniono też kilkunastu stałych pracowników do obsługi dworu i związanego z nim gospodarstwa. Z inicjatywy pani Piłsudskiej zostało zorganizowane przedszkole dla wiejskich dzieci oraz koło gospodyń, mające na celu nauczenie miejscowych kobiet tkactwa i hafciarstwa, które mogłoby być dodatkowym źródłem dochodu.

Lipowa altana

Ostatni pobyt Aleksandry Piłsudskiej w Kamiennym Dworze miał miejsce w sierpniu 1939 roku. Wzięła wówczas udział w uroczystościach dożynkowych, ostatnich, jakie widziała na polskiej ziemi. Gospodarz dożynek wręczył jej piękny wieniec upleciony z kłosów zbóż i polnych kwiatów. Wisiał on potem w salonie we dworze, dopóki go sowieci, którzy jesienią 1939 roku zamienili dobra marszałkowej na sowchoz, nie wyrzucili na śmietnik. Kiedy wybuchła II wojna światowa, Aleksandra Piłsudska wraz z córkami wyjechała pospiesznie do Wilna, by potem przez Kowno, Rygę i Sztokholm dotrzeć do Londynu i tam pozostać aż do śmierci w 1963 roku.
Podczas okupacji niemieckiej dwór nie został zniszczony, a majątek funkcjonował na zupełnie dobrym poziomie. Wtedy to pojawił się Marian Kosiński i próbował odzyskać swoją dawną własność, nie wskórał jednak nic u niemieckiego zarządcy. Kiedy wraz z linią frontu przyszli do Wólki Pietkowskiej Rosjanie, zdewastowali dwór w okamgnieniu. Mury na szczęście ocalały, bowiem nie zagrzali w nich długo miejsca.
Po wojnie właścicielem majątku zostało Państwowe Gospodarstwo Rolne, które do spółki z lokalnym Zakładem Usług Socjalnych zajęło dla swoich potrzeb siedzibę Aleksandry Piłsudskiej. Przez pierwsze 20 lat dyrektorem gospodarstwa był pan Psikuta, dawny rządca majątku Sapiehów pod Szczuczynem w województwie nowogródzkim, sadami opiekował się Kazimierz Jarocki, nadzorujący przed wojną ogród Lutosławskich w Drozdowie, zaś szkółką drzew owocowych zajmował się Ofman – ogrodnik hrabiów Krasickich z Pietkowa. Ci trzej ludzie, pracując tak jak pracowali w przedwojennych majątkach, pozostawili po sobie dobrze prosperujące – chociaż państwowe – gospodarstwo rolne, wyspecjalizowane w sadownictwie. Kiedy odeszli wszyscy z końcem lat sześćdziesiątych na emeryturę, dobre czasy dla Kamiennego Dworu skończyły się definitywnie. Wtedy też przeprowadzono remont dworu z zamiarem przeznaczenia go dla „dewizowych myśliwych”. W rzeczywistości zaczęli przyjeżdżać tu lokalni prominenci PRL.
Po likwidacji PGR jego majątek przejęła Agencja Własności Rolnej Skarbu Państwa i przez pewien czas oba dwory straszyły pustką. W połowie lat dziewięćdziesiątych Kamienny Dwór wydzierżawił Zygmunt Zamojski i wydawało się, iż nosząc tak zobowiązujące nazwisko, podejmie starania, aby dawna siedziba Aleksandry Piłsudskiej nabrała charakteru ziemiańskiej rezydencji. Nie doszło jednak do tego i w 1998 roku zjawił się nowy dzierżawca, z zamiarem nie tylko dzierżawienia majątku, ale nabycia go na własność i odrestaurowania obu dworów. Zamierzenia te nie zostały jednak dotąd zrealizowane.