Pierwsze wiadomości o Jedwabnem pochodzą z lat pięćdziesiątych XV w. Miało ono wówczas status wsi kościelnej i należało do Jana Bylicy, herbu Trzywdar, pochodzącego ze Ślubowa w ziemi zakroczymskiej, natenczas podsędka wiskiego, od którego wywiódł się ród Jedwabińskich, władający Jedwabnem przez następne dwa stulecia. Po 1680 r. kolejnymi właścicielami byli Kraszewscy herbu Jastrzębiec, Krajewscy herbu Jasieńczyk, Laskowscy herbu Dąbrowa i Rostkowscy mający za herb również Dąbrowę. W 1736 r. dzięki staraniom Antoniego Rostkowskiego, stolnika łomżyńskiego, August III nadał Jedwabnemu prawo magdeburskie. Cotygodniowe targi i pięć jarmarków w roku miało przyczynić się do rozwoju miasta. Nie był on jednak zbyt dynamiczny, skoro pięćdziesiąt lat później na Jedwabne składało się 50 domów. Stał wśród nich oczywiście i dwór, nie wiemy jednak, kiedy i przez kogo został zbudowany i jak on wówczas wyglądał.
W 1775 r. Jakub Rostkowski sprzedał dobra jedwabieńskie sekretarzowi króla Stanisława Augusta Poniatowskiego, Stanisławowi Rembielińskiemu, chorążemu i posłowi ziemi wiskiej, ożenionemu z córką generała Józefa Łączyńskiego, Marcjanną. Nowy właściciel poczynał sobie bardzo energicznie i wkrótce w jego folwarku zaczęła pracować włókiennicza manufaktura. On też zbudował nowy dwór. Był to pierwszy w mieście budynek murowany, postawiony w miejscu istniejącego wcześniej dworu drewnianego. Nie przetrwał on, oczywiście, niezmieniony do naszych czasów. Pierwszej przebudowy dokonał według projektu Henryka Marconiego syn Stanisława Rembielińskiego, Rajmund, który przejął majątek po śmierci ojca w 1784 r.

Dzisiejszy wygląd dworu nie różni się wielce od tego, jaki zaprojektował Henryk Marconi

Przebudowę zakończono w 1840 r. Parterowy budynek, stojący na wysokim, prostokątnym, wydłużonym cokole, zwrócony był frontem na wschód. Elewacja główna wzbogacona została portykiem, ustawionym asymetrycznie, z czterema toskańskimi kolumnami, podtrzymującymi balkon z żeliwną barierką, nad którym górowała facjata. Od strony ogrodu znajdował się taras, ogrodzony także metalową balustradą.
Dwór otaczał kilkuhektarowy park, rozciągający się od części gospodarczej na wschodzie po duży staw wykopany w zachodniej części założenia. Jego drzewostan nie był zbyt urozmaicony, rosły w nim głównie lipy, klony i wierzby. Przez park, ze wschodu na zachód, biegła główna aleja, krzyżując się przy północnym szczycie budynku dworskiego z aleją dojazdową, biorącą początek na niezbyt odległym rynku. Po obu jej stronach znajdował się ogród ozdobny z licznymi klombami i rabatami. Od południa graniczył z parkiem sad, przechodzący dalej w łąki.
W tym samym czasie, kiedy trwała przebudowa dworu, w miejsce drewnianych wzniesiono murowane budynki gospodarcze i domy mieszkalne dla służby dworskiej. Postawiono je po obu stronach głównej alei, w bezpośrednim jej sąsiedztwie, rezygnując tym samym z utworzenia dziedzińca gospodarczego. Wśród nich znajdowała się także oficyna, w której mieszkał zarządca majątku. Ona jedynie, wprawdzie tylko we fragmencie, przetrwała do naszych czasów, podczas gdy po reszcie budynków gospodarczych nie pozostało żadnego śladu.

W obszernym dworze mieści się dzisiaj posterunek policji, dom kultury i biblioteka

Rajmund Rembieliński, herbu Lubicz, był postacią nietuzinkową. Uczestnik insurekcji kościuszkowskiej i kampanii napoleońskiej, właściciel dobrze prosperujących, rozległych dóbr w sposób istotny przyczynił się do rozwoju przemysłu i życia gospodarczego na ziemiach polskich, pełniąc funkcję prefekta departamentu łomżyńskiego (1807) i płockiego (1808-1813), generalnego intendenta Galicji (1809) oraz prezesa Komisji Województwa Mazowieckiego (1816-1832). Początki łódzkiego okręgu przemysłowego to rezultat przedsiębiorczości, energii i dużej znajomości przedmiotu Rajmunda Rembielińkiego, który w latach 1820-1830 był autorem wielu inicjatyw gospodarczych w Łodzi. Jak to zwykle w przypadku takich osób bywa, opinie o nim były kontrowersyjne. Jedni uważali go za zdolnego i energicznego urzędnika, preferującego nadrzędne interesy państwa, inni posądzali go o czerpanie prywatnych korzyści majątkowych z pełnionych urzędów publicznych. Co by jednak o motywach jego działalności nie sądzić, to jedynie dzięki niemu w latach dwudziestych XIX w. Jedwabne posiadało fabrykę sukna, cegielnię, browar, gorzelnię, fabrykę świec łojowych i ponad 50 warsztatów rzemieślniczych, a tym samym mieszkańcy Jedwabnego mieli gdzie pracować i nie odczuli kryzysu, jaki w tym czasie dotknął większość małych miast Królestwa Kongresowego.

Mieszkańcy Jedwabnego nie zapomnieli o Rajmundzie Rembielińskim

Rajmund Rembieliński posiadał oprócz Jedwabnego jeszcze dwie rezydencje: w Krośniewicach pod Kutnem i Makowlanach koło Sidry. W tej drugiej spędził ostatnie lata swego życia. W tym czasie Jedwabnem zarządzał jego brat, Wiktor, prezes Trybunału Cywilnego w Łomży, senator Królestwa Kongresowego, poseł i minister sprawiedliwości w rządzie powstańczym 1831 r., pan na Rembielinie pod Łomżą.
Po śmierci Rajmunda Rembielińskiego w 1841 r. dziedzicem na Jedwabnem został jego syn Eugeniusz. Kontynuował on dzieło ojca i założył dwie manufaktury włókiennicze.
W końcu XIX stulecia Jedwabne wniosła w wianie Stanisławowi Skarżyńskiemu herbu Bończa siostra Rajmunda Rembielińskiego, Ewa. Jej syn Kazimierz sprzedał w 1909 r. majątek – wart wtedy 281 tysięcy rubli –Aleksandrze Henryce Marcinkowskiej.
Podczas I wojny światowej przez Jedwabne przebiegała w pewnym okresie linia frontu. Miasteczko, a wraz z nim i zabudowania dworskie, bardzo na tym ucierpiały. Zniszczenia były tak duże, że ich likwidacja przerastała możliwości Marcinkowskich. Wyzbyli się więc w marcu 1918 r. swoich jedwabieńskich dóbr na rzecz Heleny i Henryka Prusów w zamian za posiadłość w Warszawie.
Nowi właściciele, chcąc zdobyć fundusze na odbudowę majątku, zdecydowali się na parcelację gruntów, a poza tym w kwietniu 1936 r. część nieruchomości przenieśli na swoją córkę i zięcia – Irenę i Ferdynanda Hartwigów. Z powodu tego procederu początkowy areał, liczący około 1500 ha, zmniejszył się do 286 ha w 1939 r.

Ze starego parku zachowały się tylko pojedyncze drzewa

II wojnę światową dwór przetrwał w dość dobrej kondycji, chociaż prawowici właściciele zostali z niego przepędzeni. Do czerwca 1941 r. dysponowali nim Sowieci,  później – okupacyjne władze niemieckie. Wraz z końcem wojny majątek został rozparcelowany z wyłączeniem siedliska dworskiego z resztówką liczącą 16 ha, które otrzymała Gminna Spółdzielnia „Samopomoc Chłopska”.
Gdy nie stało prawdziwego gospodarza, zabudowania szybko uległy dewastacji, sady wycięto, park przetrzebiono. Po kilkunastu latach część budynków gospodarczych rozpadła się, resztę rozebrano doszczętnie. Dwór natomiast postanowiono odbudować. Po zakończeniu remontu w 1959 r. jego wygląd zewnętrzny nie różnił się wielce od tego, jaki zaprojektował Henryk Marconi. Wnętrze zmieniło się jednak radykalnie, urządzono w nim bowiem kino, miejski dom kultury i bibliotekę, a jeszcze później – posterunek policji. Obecnie kina już we dworze nie ma, natomiast posterunek policji, gminno-miejski dom kultury i biblioteka nadal mają w nim swoje pomieszczenia.