W 1375 roku książę Janusz I Mazowiecki nadał Paszce z Radzanowa liczne dobra, wśród których znajdowało się Poryte Jabłoń w powiecie zambrowskim. Pięćdziesiąt lat później Piotr Modzel założył tam wieś, o tej samej co majątek nazwie, będącej potem przez ponad 100 lat własnością jego potomków, którzy wzięli od wioski nazwisko Poryccy i pieczętowali się herbem Modzel. Oni to zbudowali pierwszy drewniany dwór, ale brak źródeł mówiących o jego wyglądzie i usytuowaniu. Od Poryckich majątek przejęli Troszyńscy herbu Rogala i trzymali go w swoich rękach przez kolejne stulecie. Stanowili dość znaną na tych ziemiach rodzinę. Jeden z Troszyńskich, Jan, pełnił w końcu XV w. funkcję sędziego łomżyńskiego, a żyjący później Mikołaj był w połowie XVI stulecia podczaszym łomżyńskim. Po Troszyńskich właścicielami Porytego stali się Duczymińscy. Aż czterech przedstawicieli tej rodziny – Kazimierz, Konstanty, Wiktor i Wojciech byli posłami na sejm w 1648 roku.
W XVIII w. porycki majątek stał się własnością podwojewodziego łomżyńskiego, Marcina Zbierzchowskiego, herbu Grzymała. Za jego czasów Poryte Jabłoń nie było już szlachecką rezydencją, lecz zwykłym folwarkiem o znaczeniu wyłącznie gospodarczym. I folwark ten wraz ze wsią został w 1771 roku kupiony za 130 tysięcy florenów przez stolnika inflanckiego, Antoniego Mleczko herbu Korczak. Antoni Mleczko ożenił się z Joanną Moczulską i miał z nią córkę i czterech synów. Majątek porycki odziedziczyli  Piotr Heliodor i Kazimierz Roman, by wspólnie na nim gospodarzyć. Zajmowali się obaj nie tylko sprawami majątku. Piotr Heliodor (1740-1812), żonaty od 1792 roku z Barbarą Wielądkówną, łowczanką inflancką, pełnił urzędy skarbnika, wojskiego i miecznika ziemi mielnickiej, a Kazimierz Roman (1742-1809), ożeniony po 1760 roku z Różą Czosnowską herbu Pierzchała, był podkomorzym na dworze królewskim. Po pewnym czasie wspólne gospodarzenie chyba im się przejadło, bo w 1804 roku nastąpił podział majątku. Poryte i Zbrzeźnicę wziął w posiadanie Kazimierz Roman, a Piotr Heliodor inną część poojcowskich dóbr. Po śmierci Kazimierza Romana Poryte odziedziczył najmłodszy spośród pięciu jego synów - Eustachy (1783-1845). Majątek ten był w jego władaniu do 1834 roku, kiedy sprzedał go bratu stryjecznemu, Onufremu Tadeuszowi Mleczce (1795-1853), żonatemu od maja 1832 roku z Aleksandrą Weroniką Justyną Pruszakówną (1814-1868) herbu Leliwa, która wniosła mu szereg dóbr w powiecie sochaczewskim. Onufry Mleczko nie zajmował się tylko swoimi włościami, nadzorował z ramienia Banku Polskiego prace przy budowie Kanału Augustowskiego oraz kolei warszawsko-wiedeńskiej. Nie dochował się potomka, więc gdy umarł, Poryte i inne należące do niego majątki przejął jego młodszy brat, Jan Chrzciciel Apolinary (1800-1869), sędzia ziemski powiatu łomżyńskiego i prezes Towarzystwa Kredytowego Ziemskiego w Łomży, żonaty z Konstancją Downarowicz herbu Przyjaciel. Był on ostatnim z Mleczków właścicielem Porytego, bowiem w 1858 roku sprzedał porycki folwark z wsią Stefanowi Sylwestrowi Skarbek-Woyczyńskiemu (1832-1913) herbu Awdaniec. Nowy właściciel postanowił uczynić Poryte Jabłoń swoją siedzibą i w 1860 roku rozpoczął budowę murowanego dworu, wzorując się na projekcie Henryka Marconiego, opublikowanym w tymże 1860 roku w „Dzienniku Politechnicznym”. Miał to być przykład idealnej wtenczas siedziby ziemiańskiej, nazwanej „wzorcowym domem obywatelskim”, a jego opis był następujący:

Dom wiejski, zbudowany według projektu Radcy Budowniczego P. Marconi, należy do domów obywatelskich większego rozmiaru, tj. środkujących między dworem zwyczajnym a pałacem. Styl włoski odrodzenia uwydatniony najbardziej w głównym froncie utrzymany jest ze wszystkich stron, tak pod względem kształtów ogólnych jak i szczególnych, co właśnie jest nader ważnem i trudnem przy projektowaniu budynków, które stać mają w miejscach ze wszystkich stron odsłoniętych. /.../ Co się tyczy konstrukcji, ta jest zupełnie prosta, tak co do roboty mularskiej jak i ciesielskiej, a zaprojektowane w głównej części budowli, na parterze, wszystkie ściany murowane, bez żadnych ścian pruskich i forsztowań, zapewniają trwałość, którą powinny posiadać domy stawiane nie na spekulację, lecz dla użytku własnego.
 

"Wzorcowy dom obywatelski" z zamurowanymi oknami i drzwiami zabitymi na głucho

Dwa lata później stanął już gotowy na lewym, zachodnim brzegu rzeki Jabłonki dwór wymurowany z cegły i otynkowany. Miał on kształt nieregularnej bryły, wzniesionej na planie wydłużonego prostokąta, złożonej z siedmioosiowej części parterowej oraz poprzecznej do niej, trójosiowej części piętrowej. Obie części miały odrębne, dwuspadowe dachy. Elewacja frontowa wzbogacona została trójosiowym ryzalitem, ujętym w narożach w pseudopilastry, z mieszkalnym piętrem nakrytym osobnym dachem, poprzecznym do głównej kalenicy. Styl budynku można by określić jako neorenesansowy z elementami neogotyku.

Fasada ogrodowa dworu widziana z brzegu rzeki Jabłonki

Wraz z dworem powstały nowe, obszerne zabudowania gospodarcze i wkrótce posiadłość Stefana i Zofii z Czarnowskich Skarbek-Woyczyńskich stała się jednym z największych i najlepiej prosperujących majątków w powiecie. Kiedy wybuchło Powstanie Styczniowe, Stefan Skarbek-Woyczyński stał się nie tylko jego uczestnikiem, ale i jednym z głównych organizatorów na ziemi łomżyńskiej. Po upadku powstania aresztowano go, a majątek obłożono dodatkowymi podatkami. Na szczęście został dość szybko zwolniony z więzienia i mógł nadal pomnażać swoje włości, które w 1914 roku osiągnęły obszar ponad 1300 hektarów. W tym czasie w gospodarowaniu pomagali mu już dwaj synowie, Stanisław i Tadeusz, nie stroniący również od pracy w polskich stowarzyszeniach rolniczych. Pierwszy z nich działał w Radzie Łomżyńskiego Towarzystwa Rolniczego, drugi był dyrektorem Oddziału Handlowego Towarzystwa Kredytowego Ziemskiego i przewodniczącym Komitetów do spraw Gorzelnictwa i Hodowli Koni.
W 1916 roku Tadeusz Woyczyński sprzedał Poryte Jabłoń Fortunatowi Zdziechowskiemu. Sześć lat później córka Fortunata, Grażyna Zdziechowska wyszła za mąż za Aleksandra Augusta hr. Dzieduszyckiego (1901-1971) herbu Sas i wniosła mu kupiony niedawno przez ojca majątek. Chociaż hrabia Dzieduszycki ukończył Wydział Prawa Uniwersytetu Jagiellońskiego i doktoryzował się z prawa międzynarodowego, z wielką pasją oddał się rolnictwu. Dzięki temu nastąpił znaczny rozwój poryckiego majątku, mimo że w 1926 roku ubyło z niego w efekcie reformy rolnej 100 hektarów gruntów. Doktor prawa począł hodować owce i pszczoły, drób i bydło, zbudował gorzelnię i założył serowarnię, w której produkował sery litewskie. Z obszernych  mokradeł wybrał torf i wykopał tam kilka stawów rybnych, nadając im imiona. Dwa największe z nich nazwał "Aleksander" oraz "Grażyna" i nazwy te noszą one po dzień dzisiejszy. Jego żona, Grażyna, nie zajmowała się sprawami majątkowymi, działała natomiast w miejscowej szkole. Założyła w niej bibliotekę i uczyła dzieci chłopskie czytania, prowadziła też lekcje religii.

Gdy wybuchła II wojna światowa, hrabia Dzieduszycki walczył początkowo w stopniu porucznika kawalerii, ale dostał rozkaz towarzyszenia generałowej Sikorskiej w drodze do Francji i odleciał z nią jednym z ostatnich samolotów opuszczających Polskę. Tymczasem w jego dworze zamieszkali niemieccy oficerowie. W sierpniu 1943 roku odwiedził ich minister III Rzeszy, Alfred Rosenberg. W tym czasie oddział Armii Krajowej zaatakował i zdobył dwór. Niestety, partyzanci nie rozpoznali hitlerowskiego dygnitarza i puścili go wolno. 

 Aleksander hr. Dzieduszycki przedostał się z Francji do Anglii i tam wstąpił do polskich sił zbrojnych. Nie został jednak wysłany na front, lecz przerzucony do Szkocji, gdzie przebywał do zakończenia wojny. Później z grupą polskich żołnierzy wyjechał do Afryki Południowej, ale nie mógł tam się zadomowić i wrócił do Londynu, by działać w organizacjach polonijnych. Natomiast żona Grażyna pozostawała w Polsce i dopiero w 1960 roku udało się jej wyjechać do Anglii, by połączyć się z mężem. Opuściła go jednak wkrótce, nie potrafiła bowiem żyć poza krajem. Zmarła w październiku 1986 roku i pochowana została na Powązkach. 

Tragicznie potoczyły się powojenne losy synów hrabiego Dzieduszyckiego. Starszy z nich, Maurycy Józef Andrzej, podczas okupacji żołnierz AK, został po wojnie aresztowany w Krakowie. Udało mu się uciec z więzienia i przedostać przez "zieloną granicę" do Czech. Tam jednak został schwytany i oddany w ręce polskiego UB. Ponowną ucieczkę, tym razem udaną, podjął w 1947 roku - ukrył się w ładowni angielskiego statku i odpłynął do Anglii. Młodszy syn, Krzysztof Maria Fortunat, student Szkoły Głównej Handlowej, został wraz z matką aresztowany w styczniu 1949 roku, ponieważ w ich mieszkaniu funkcjonariusze UB znaleźli stary, zabytkowy, nienadający się do użytku pistolet. Za jego posiadanie skazany został na 10 lat więzienia. W uzasadnieniu wyroku sędzia napisał: Nieważnym jest, że broń była stara, zardzewiała i nie do użycia, że nie był karany i działalności antypaństwowej mu nie udowodniono, ale ważnym jest pochodzenie rycersko-szlacheckie i szczególne zalety intelektualne - jest studentem wyższej uczelni, co czyni go szczególnie niebezpiecznym i predysponuje na wroga Polski Ludowej...

W listopadzie 1944 roku majątek liczący około 1000 hektarów został przejęty przez państwo. Rozparcelowano 286 ha, 300 ha przejęły Lasy Państwowe, na reszcie utworzono Państwowe Gospodarstwo Rolne, a we dworze Dzieduszyckich zamieszkali pracownicy PGR. Mieściła się tam też szkoła podstawowa, przedszkole, stołówka i biuro. W 1973 roku szkoła  przeniosła się do nowego budynku, a jej miejsce zajęła świetlica. Pozbawiony troskliwego gospodarza budynek dworski był systematycznie dewastowany – dopiero w 1986 roku wojewódzki konserwator zabytków wpisał go do rejestru budowli zabytkowych. Po upadku PGR na początku lat 90. ubiegłego wieku właścicielem dworu stała się Agencja Własności Rolnej Skarbu Państwa. Przez jakiś czas mieszkali w nim jeszcze dawni lokatorzy, teraz stoi pusty, z zamurowanymi oknami, chociaż wydzierżawiła go od AWRSP osoba prywatna.