W 1375 r. książę Janusz I Mazowiecki nadał Paszce z Radzanowa liczne dobra, wśród których znajdowało się Poryte Jabłoń w powiecie zambrowskim. Pięćdziesiąt lat później Piotr Modzel założył tam wieś, o tej samej co majątek nazwie, będącej potem przez ponad 100 lat własnością jego potomków, którzy wzięli od wioski nazwisko Poryccy i pieczętowali się herbem Modzel. Oni to zbudowali pierwszy drewniany dwór, ale brak źródeł mówiących o jego wyglądzie i usytuowaniu. Od Poryckich majątek przejęli Troszyńscy herbu Rogala i trzymali go w swoich rękach przez kolejne stulecie. Stanowili dość znaną na tych ziemiach rodzinę. Jeden z Troszyńskich, Jan, pełnił w końcu XV w. funkcję sędziego łomżyńskiego, a żyjący później Mikołaj był w połowie XVI stulecia podczaszym łomżyńskim. Po Troszyńskich właścicielami Porytego stali się Duczymińscy. Aż czterech przedstawicieli tej rodziny – Kazimierz, Konstanty, Wiktor i Wojciech byli posłami na sejm w 1648 r.
W XVIII w. porycki majątek stał się własnością podwojewodziego łomżyńskiego, Marcina Zbierzchowskiego, herbu Grzymała. Za jego czasów Poryte Jabłoń nie było już szlachecką rezydencją, lecz zwykłym folwarkiem o znaczeniu wyłącznie gospodarczym. Folwark ten wraz z wsią został w 1771 r. kupiony przez stolnika inflanckiego, Antoniego Mleczko herbu Korczak. Jego potomek, Władysław Mleczko, w 1858 r. sprzedał folwark z wsią Stefanowi Woyczyńskiemu, który postanowił wybudować tu swoją siedzibę. W 1860 r. rozpoczął budowę murowanego dworu, wzorując się na projekcie Henryka Marconiego, opublikowanym w tymże 1860 r. w „Dzienniku Politechnicznym”. Miał to być przykład idealnej wtenczas siedziby ziemiańskiej, nazwanej „wzorcowym domem obywatelskim”, a jego opis był następujący:

Dom wiejski, zbudowany według projektu Radcy Budowniczego P. Marconi, należy do domów obywatelskich większego rozmiaru, tj. środkujących między dworem zwyczajnym a pałacem. Styl włoski odrodzenia uwydatniony najbardziej w głównym froncie utrzymany jest ze wszystkich stron, tak pod względem kształtów ogólnych jak i szczególnych, co właśnie jest nader ważnem i trudnem przy projektowaniu budynków, które stać mają w miejscach ze wszystkich stron odsłoniętych. /.../ Co się tyczy konstrukcji, ta jest zupełnie prosta, tak co do roboty mularskiej jak i ciesielskiej, a zaprojektowane w głównej części budowli, na parterze, wszystkie ściany murowane, bez żadnych ścian pruskich i forsztowań, zapewniają trwałość, którą powinny posiadać domy stawiane nie na spekulację, lecz dla użytku własnego.
 

 
 "Wzorcowy dom obywatelski" z zamurowanymi oknami i drzwiami zabitymi na głucho


Dwa lata później stanął już gotowy na lewym, zachodnim brzegu rzeki Jabłonki dwór wymurowany z cegły i otynkowany. Miał on kształt nieregularnej bryły, wzniesionej na planie wydłużonego prostokąta, złożonej z siedmioosiowej części parterowej oraz poprzecznej do niej, trójosiowej części piętrowej. Obie części miały odrębne, dwuspadowe dachy. Elewacja frontowa wzbogacona została trójosiowym ryzalitem, ujętym w narożach w pseudopilastry, z mieszkalnym piętrem nakrytym osobnym dachem, poprzecznym do głównej kalenicy. Styl budynku można by określić jako neorenesansowy z elementami neogotyku.

 
 Fasada ogrodowa dworu widziana z brzegu rzeki Jabłonki


Wraz z dworem powstały nowe, obszerne zabudowania gospodarcze i wkrótce posiadłość Stefana i Zofii z Czarnowskich Woyczyńskich stała się jednym z największych i najlepiej prosperujących majątków w powiecie. Kiedy wybuchło Powstanie Styczniowe, Stefan Woyczyński stał się nie tylko jego uczestnikiem, ale i jednym z głównych organizatorów na ziemi łomżyńskiej. Po upadku powstania aresztowano go, a majątek obłożono dodatkowymi podatkami. Na szczęście został dość szybko zwolniony z więzienia i mógł nadal pomnażać swoje włości, które w 1914 r. osiągnęły obszar ponad 1300 hektarów. W tym czasie w gospodarowaniu pomagali mu już dwaj synowie, Stanisław i Tadeusz, nie stroniący również od pracy w polskich stowarzyszeniach rolniczych. Pierwszy z nich działał w Radzie Łomżyńskiego Towarzystwa Rolniczego, drugi był dyrektorem Oddziału Handlowego Towarzystwa Kredytowego Ziemskiego i przewodniczącym Komitetów do spraw Gorzelnictwa i Hodowli Koni.
W 1916 r. Tadeusz Woyczyński sprzedał Poryte Jabłoń Fortunatowi Zdziechowskiemu. Sześć lat później córka Fortunata, Grażyna Zdziechowska wyszła za mąż za Aleksandra hr. Dzieduszyckiego i wniosła mu w wianie kupiony niedawno przez ojca majątek. Dzieduszyccy okazali się ostatnimi właścicielami poryckiego dworu. Podczas okupacji mieszkali w nim niemieccy oficerowie. W sierpniu 1943 r. odwiedził ich minister III Rzeszy, A. Rosenberg. W tym czasie oddział AK zaatakował i zdobył dwór. Niestety, partyzanci nie rozpoznali hitlerowskiego dygnitarza i nie wzięli go do niewoli. Po opuszczeniu dworu przez Niemców mieszkał w nim jeszcze jakiś czas hrabia Dzieduszycki. W listopadzie 1944 r. majątek liczący 1000 hektarów został przejęty przez państwo. Rozparcelowano 286 ha, 300 ha przejęły Lasy Państwowe, na reszcie utworzono Państwowe Gospodarstwo Rolne.

Tragicznie potoczyły się powojenne losy synów hrabiego Dzieduszyckiego. Starszy z nich, Maurycy Józef Andrzej, podczas okupacji żołnierz AK, został po wojnie aresztowany w Krakowie. Udało mu się uciec z więzienia i przedostać przez "zieloną granicę" do Czech. Tam jednak został schwytany i oddany w ręce polskiego UB. Ponowną ucieczkę, tym razem udaną, podjął w 1947 r. - ukrył się w ładowni angielskiego statku i odpłynął do Anglii. Młodszy syn, Krzysztof Maria Fortunat, student Szkoły Głównej Handlowej, został wraz z matką aresztowany w styczniu 1949 r., ponieważ w ich mieszkaniu funkcjonariusze UB znaleźli stary, zabytkowy, nienadający się do użytku pistolet. Za jego posiadanie skazany został na 10 lat więzienia. W uzasadnieniu wyroku sędzia napisał: Nieważnym jest, że broń była stara, zardzewiała i nie do użycia, że nie był karany i działalności antypaństwowej mu nie udowodniono, ale ważnym jest pochodzenie rycersko-szlacheckie i szczególne zalety intelektualne - jest studentem wyższej uczelni, co czyni go szczególnie niebezpiecznym i predysponuje na wroga Polski Ludowej...

Tymczasem w dworze Dzieduszyckich zamieszkali pracownicy PGR. Mieściła się tam też szkoła podstawowa, przedszkole, stołówka i biuro. W 1973 roku szkoła  przeniosła się do nowego budynku, a jej miejsce zajęła świetlica. Pozbawiony troskliwego gospodarza budynek dworski był systematycznie dewastowany – dopiero w 1986 r. wojewódzki konserwator zabytków wpisał go do rejestru budowli zabytkowych. Po upadku PGR na początku lat 90. u.w. właścicielem dworu stała się Agencja Własności Rolnej Skarbu Państwa. Przez jakiś czas mieszkali w nim jeszcze dawni lokatorzy, teraz stoi pusty, z zamurowanymi oknami, chociaż wydzierżawiła go od AWRSP osoba prywatna.