7 kwietnia 1562 r. Albrecht Hohenzollern (ostatni wielki mistrz zakonu krzyżackiego, a pierwszy książę pruski – od 1525 r., jako Albrecht I) nadał staroście ryńskiemu, Jerzemu von Diebesowi 150 włók ziemi. Znajdowała się na nich już wieś Plewki, do której należało 66 włók. Na pozostałych 84 powstał majątek ziemski Biała Olecka i wieś szlachecka Drozdowo. Była to tzw. ziemia rycerska, a jej właściciel zobowiązany był do służby zbrojnej z dwoma końmi w towarzystwie zbrojnego pachołka, w zamian za co zwolniony został na 20 lat od podatków i innych świadczeń. Po Jerzym von Diebesie właściciele tego majątku szlacheckiego często się zmieniali. Należał on przez pewien czas do majora wojsk polskich, Gotarda von Buddenbrocka, w połowie XVIII w. mieszkał tam polski nadleśniczy – Ludwik Daszkiewicz, potem Albrecht Reuter, następnie przeszedł w ręce rodzin Semkowskich i Warkojów, a od połowy XIX w. – Tolsdorffów. Podobnie często jak właściciele zmieniała się też nazwa majątku i miejscowości (Bialla, Kamienna, Alt Bialla, a od 1903 do 1945 r. – Billstein).

Rezydencja Tolsdorffów od frontu

Rezydencją Tolsdorffów stał się neobarokowy pałac wzniesiony na początku XX w. przez Friedricha von Tolsdorffa. Była to budowla dwukondygnacyjna, postawiona na planie wydłużonego prostokąta, z wielobocznymi wieżyczkami flankującymi elewację frontową. Na jej środku, podobnie zresztą jak w elewacji ogrodowej znalazł się siedmioosiowy ryzalit pokryty mansardowym dachem, z trzyokienną facjatą zamkniętą półkoliście. Poprzedzał go portyk z czterema kolumnami dźwigającymi balkon z tralkową balustradą, na który prowadziły z wnętrza drugiej kondygnacji trzy okna typu porte-fenêtre.

Elewacja ogrodowa pałacu

Do lewej elewacji bocznej dobudowano jednokondygnacyjne skrzydło, pokryte dachem mansardowym, podczas gdy główny korpus przykrywał dach czterospadowy z dwoma lukarnami, zarówno w połaci frontowej, jak i ogrodowej.

Siedmioosiowy ryzalit elewacji frontowej	Półkolisty ryzalit z boku elewacji ogrodowej

Wnętrze pałacu, który uważany był wówczas za najbardziej nowoczesny w całych Prusach Wschodnich, było bardzo obszerne. Sama jadalnia mogła pomieścić 100 osób. Jej ściany pokrywała dębowa boazeria, ogrzewał ją kominek, a zdobiły rzeźby przedstawiające greckich i rzymskich bożków. Sąsiadował z nią równie duży salon muzyczny, a usytuowany w pobliżu pokój gościnny wyróżniał się jedwabnymi tapetami.

Tralkowa balustrada przy wejściu bocznym	Początek schodów przed wejściem głównym

Lodownia

Podczas I wojny światowej pałac został spalony, ale wkrótce po zakończeniu działań wojennych Tolsdorffowie odbudowali go. W 1926 r. jego właścicielem był Fritz Tolsdorff, który gospodarując na 750 hektarach, hodował bydło i konie, czerpał też dochody z gorzelni i suszarni ziemniaków. W latach 30. właścicielem tego majątku stał się Leo Brodowski i organizował w pałacu roczne obozy szkoleniowe dla Hitlerjugend, podobnie jak to czynił w sąsiednich dworach należących do niego. W latach 1942-1945 przekształcono go w sanatorium dla oficerów Wehrmachtu przechodzących rekonwalescencję po ranach odniesionych  na froncie.
II wojnę światową pałac przetrwał w dobrym stanie, a po wojnie umieszczono w nim biura Państwowego Gospodarstwa Rolnego, utworzonego na ziemiach dawnego majątku Tolsdorffów. Mieszkali w nim również pracownicy PGR, a w okresie od 1970 do 1977 r. mieściła się filia szkoły rolniczej w Dowspudzie. W latach 80. pałac stopniowo pustoszał, dewastowany przez mieszkańców i poczynania kierownictwa PGR-u, a dzieła zniszczenia dopełnił pożar. W 1990 r. zrujnowany pałac kupił od Agencji Własności Rolnej Skarby Państwa Zdzisław Bereśniewicz, wywodzący się ze szlacheckiej rodziny spod Baranowicz, i przywrócił go do stanu pierwotnego, biorąc pod uwagę jego wygląd zewnętrzny. Renowacji wnętrz jednak już nie podjął, odsprzedał pałac, a nowy właściciel nie kontynuuje na razie jego restauracji.