Był początek XVI stulecia, kiedy dzierżawcą nieskolonizowanej jeszcze południowej części Puszczy Grodzieńskiej oraz Kryńskiej, Kuźnickiej, Molawickiej i Odelskiej został niejaki Hryń z litewskiego rodu Wołłowiczów. Jego zadaniem było czuwanie z ramienia króla nad eksploatacją puszczańskich zasobów oraz kierowanie akcją osiedleńczą, aby więc jak najlepiej wywiązywać się ze swoich obowiązków, osiadł na stałe w Sidrze. Około roku 1524 trzej synowie Hrynia – Bogdan, Łukasz i Iwan, podzielili między siebie dobra sidrzańskie i w ten sposób powstały trzy odrębne majątki Wołłowiczów: Andrzejewo, Pawłowicze i Sidra. Pawłowicze przypadły Iwanowi ożenionemu z Filią Pawłowną, od której imienia wziął nazwę majątek, a później sąsiadująca z siedzibą dworską  wioska.

Jesień w Pawłowiczach

Wnukiem Iwana i Filii Pawłowny był Paweł Wołłowicz, późniejszy podskarbi nadworny Wielkiego Księstwa Litewskiego, starosta grodzieński, uciański i plotelski. To on zbudował istniejący po dzień dzisiejszy dwór w Pawłowiczach. Wzniósł go w 1610 roku jako budowlę murowaną, piętrową, w renesansowym stylu, mimo że w owych czasach modny był już w Polsce barok. Dopiero później, żeby chociaż trochę pójść za modą, założono barokowy ogród. Wcześniej stał w tym miejscu dworek drewniany, parterowy, kryty gontem, zbudowany przez dziada Pawła, Iwana Wołłowicza, koniuszego trockiego.

Dwór zbudowany w 1610 roku przez Pawła Wołłowicza

Dwór w Pawłowiczach był w posiadaniu Wołłowiczów do początków XVIII wieku. Później stał się na krótko własnością rodziny Łapów, następnie miecznika wiłkomirskiego Komara, by przed 1784 rokiem przejść w ręce chorążych rzeczyckich – Downarowiczów. Ci ostatni rozbudowali go, nadając mu klasycystyczną formę. Główną elewację wzbogacili o drewniany ganek, przed frontonem budynku utworzyli obszerny dziedziniec ogrodzony kamiennym murem, który przekroczyć można było przez efektowną bramę. Od bramy do podjazdu wytyczyli aleję i obsadzili ją lipami.

Aleja dojazdowa

Po obu stronach dworu wznieśli oficyny i prawdopodobnie połączyli je arkadami z głównym budynkiem. Po zachodniej stronie dworu założyli obszerny park z widokowymi tarasami i usypanym sztucznie pagórkiem, na którym postawili altanę. Rozciągał się z niej rozległy widok na leżące niżej sady i dolinę rzeki Sidry. W różnych miejscach parku pojawiły się wazony, rzeźby i kwietniki pokryte ornamentami z darniny, ozdobnych roślin i kwiatów. Kiedy ukończono wszystkie prace, skromny dwór zmienił się w okazały pałac – prawdziwą rezydencję magnacką.

Dwór i oficyna południowa od strony ogrodu

Downarowicze rozbudowali wspaniale siedzibę dworską w Pawłowiczach, Downarowicze też przyczynili się do jej upadku, nie przeprowadzając potrzebnych remontów. Próbował ją ratować nowy nabywca, Olendzki, ale nim wdrożył na dobre prace budowlane, został zabity przez świeżo uwłaszczonych ukazem carskim chłopów.
Kolejni posesorzy Pawłowicz w ostatnich latach XIX wieku to Aleksander Wasilkowski, Julian hrabia Opperman, Otton Baehr, Paweł Boboszyn i Elżbieta Kułakowska. Elżbieta Kułakowska wykorzystała trzechsetną rocznicę wzniesienia dworu, przypadającą w 1910 roku, do przeprowadzenia jego remontu i odnowienia parku. Jej mężem był podpułkownik wojsk rosyjskich, dowódca pułku mającego chronić okoliczne siedziby ziemiańskie, który stacjonował w budynku koszarowym, wzniesionym wraz ze stajniami w sąsiedztwie południowej oficyny. Zginął on w czasie wojny polsko-bolszewickiej na Wołyniu i tam go pochowano.
W 1920 roku właścicielem pałacu został doktor Bołchowitynow ożeniony z córką Elżbiety Kułakowskiej. Zajmował się on praktyką lekarską i zawiadywał majątkiem do września 1939 roku. Potem przeniósł się do Krotoszyna, a że był świetnym lekarzem, nadal leczył mieszkańców Pawłowicz i okolicznych wiosek, którzy nie zważając na odległość, szukali u niego pomocy, gdy ciężko zaniemogli.
II wojna światowa oraz lata 1944-1958 przyniosły zagładę całemu założeniu dworsko-ogrodowemu. Na skutek reformy rolnej i parcelacji majątku dawne sady zamieniono w pastwiska, w parku wycięto prawie wszystkie drzewa, rozebrano dworskie zabudowania i porosyjskie koszary, w miejscu, gdzie niegdyś wznosił się dwór, sterczały pozbawione dachu ściany. Te ściany kupił za 19500 złotych od Gromadzkiej Rady Narodowej mieszkaniec wsi Mieleszkowce Pawłowickie, Józef Spiżewski, i w 1957 roku zaczął je rozbierać. Na szczęście o rozbiórce dowiedział się profesor Politechnik Gdańskiej i Warszawskiej, Paweł Kułakowski, syn Elżbiety Kułakowskiej, i interweniował w Ministerstwie Kultury, zapobiegając całkowitemu zniszczeniu rodowej siedziby Wołłowiczów, Downarowiczów, no i Kułakowskich.
W latach 1959-1966 Wojewódzki Konserwator Zabytków w Białymstoku, Władysław Paszkowski, prowadził generalny remont dworu i oficyny południowej. Po jego zakończeniu powstał obiekt, będący czymś pośrednim między renesansowym dworem Wołłowiczów a klasycystycznym pałacem Downarowiczów. Zasadnicza bryła głównego budynku nie uległa istotnym zmianom. Nie odbudowano jedynie drewnianego ganku w elewacji frontowej, ale pozostała ona symetryczna, z niewielkim tympanonem komponującym się z balkonem w odrębną całość. Odtworzono boniowanie ścian w części parterowej, którą oddziela od kondygnacji wyższej szeroki gzyms kordonowy o niewielkim uskoku. Główny gzyms, biegnący pod samym okapem, składa się z tryglifów i rozet, ponad którymi widnieją wsporniki ozdobione stylizowanymi liśćmi akantu. Czterospadowy dach pokryto ceramicznymi dachówkami. Układ wnętrz został w zasadzie zachowany, z pewnym dostosowaniem dla potrzeb szkoły. Nie odnaleziono i nie próbowano odtworzyć oryginalnych pieców, sztukaterii, architektonicznych detali, stolarki, wyposażenia pomieszczeń, ściennych ozdób.
Po zakończeniu remontu do dworu wprowadziła się szkoła podstawowa, do oficyny – personel nauczycielski. Oficyny północnej nie zrekonstruowano; pozostały po niej resztki osypujących się ścian. Kierownikiem, a później dyrektorem szkoły, a więc osobą odpowiedzialną również za stan zabytkowej budowli był w latach 1966-1994 Aleksander Maksymiuk. To za jego sprawą w 1980 roku została wmurowana w elewację frontową, przechowywana w kościele w Zalesiu, tablica fundacyjna dworu. Obok Bogorii, rodowego herbu Wołłowiczów, znajduje się na niej łacińska inskrypcja o następującej treści: Paweł Wołłowicz sobie i swoim jakimkolwiek również wdzięcznym spadkobiercom zbudował w roku pańskim 1610. Czego pragniesz dla siebie, czyń drugiemu.

Tablica fundacyjna dworu

Kiedy w 1994 roku Aleksander Maksymiuk przeszedł na emeryturę, obowiązki dyrektora szkoły przejęła jego córka – Dorota Czaplejewicz. Właśnie od niej dowiadujemy się, że najstarszy dwór Białostocczyzny, jak każda szanująca się rezydencja magnacka, posiada swoją legendę:
Było to dawno temu. W pawłowickim pałacu mieszkał srogi dziedzic, który miał śliczną córkę na wydaniu. Zabiegało o jej rękę wielu przystojnych i majętnych młodzieńców z okolicy i odległych stron, ale piękna panna wszystkich zalotników z kwitkiem odprawiała, bowiem zakochała się z wzajemnością w młodym koniuszym najętym przez ojca do dworskich stajni. Kiedy przyszła wiosna, wymykała się wieczorami z dworu, aby po kryjomu spotykać się z ukochanym. Tajemne schadzki nie uszły oczom dworzan i któryś z nich doniósł o tym dziedzicowi. Ten zabronił oczywiście córce widywać się ze sługą i zagroził jej straszliwą karą w razie niewykonania ojcowskiego polecenia. Przez pewien czas młodzi nie spotykali się ze sobą, ale pewnego wieczoru zakochana dziewczyna nie mogła znieść dłużej rozstania z wybrankiem serca i wymknęła się do niego do stajni. Ojciec natychmiast dostrzegł jej zniknięcie z domu i wiedział, gdzie ma jej szukać. A gdy zobaczył swoją córkę w objęciach koniuszego, rozkazał zamurować ją w piwnicy, ale tylko do pasa, aby dłużej i bardziej cierpiała. Kiedy zmarła z głodu i pragnienia, zamurowano ją całą i to samo zrobiono z jej kochankiem.
Kiedy ktoś z czytelników znajdzie się w pawłowickim dworze, niech odnajdzie schody prowadzące do piwnicy. Zobaczy tam dwa wgłębienia w ścianie. Ma to być właśnie miejsce, w którym została zamurowana para nieszczęśliwych kochanków.