W odległości 6 km na południowy zachód od Kowali Oleckich położona jest wieś Żydy, nazywana w przeszłości Sydden i Schieden, a w latach 1938-1945 Sidden. Istnieje ona od 1564 roku, kiedy to książę pruski Albrecht I nadał Walentemu Bule 4 włóki ziemi i zalecił mu, aby założył wieś czynszową. W 1612 roku książę Jan Zygmunt Hohenzollern nadał majątek Żydy na prawie lennym Reinhartowi von Halle. Na początku XIX wieku przeszedł on w ręce polskiej rodziny szlacheckiej Ciesielskich, a w późniejszym okresie tego samego stulecia znalazł się we władaniu rodu von Simpson i do 1879 roku był folwarkiem wchodzącym w skład większych dóbr w Wężowie, należących do Simpsonów. W końcu XIX wieku oddzielono go od dóbr wężowskich i stał się majątkiem ziemskim rodziny von Gobler. Ostatnimi - przed wybuchem II wojny światowe - jego prywatnymi właścicielami byli od lat 20. XX wieku Borowscy, którzy gospodarzyli na 110 hektarach.
Po II wojnie światowej majątek ziemski, dwór niezniszczony podczas działań wojennych i zabudowania gospodarcze przejęło Państwowe Gospodarstwo Rolne, a po 1990 roku - Agencja Własności Rolnej Skarbu Państwa. W 1995 roku Małgorzata i Antoni Witkowscy wydzierżawili całe gospodarstwo od AWRSP, by trzy lata później przejąć je na własność. Zbudowany z początkiem XX wieku dwór został już w okresie PRL-u zdewastowany.

Dworek odrestaurowany przez Antoniego Witkowskiego

Był to niewielki, murowany, parterowy budynek, postawiony na planie prostokąta, pokryty dachem dwuspadowym z naczółkami. Na środku elewacji frontowej znajdował się piętrowy ryzalit zwieńczony dwuokienną facjatą, zamkniętą trójkątnym szczytem. Podobny ryzalit zdobił elewację ogrodową.

Salonik, w głębi jadalnia

Nowi właściciele troskliwie odrestaurowali dwór. Wchodzi się teraz do niego po ośmiostopniowych schodach, między dwoma parami kolumn podtrzymujących balkon otoczony żeliwną balustradą, na który można dostać się z facjaty przez porte-fenêtre. Na frontowej połaci dachu pojawiły się dwie lukarny. Również wnętrze budynku dworskiego przybrało wygląd rezydencji ziemiańskiej, dzięki umeblowaniu go oryginalnymi antykami.