Według Aleksandra Duncker, niemieckiego wydawcy, księgarza i pisarza, który w latach 1857-1883 wydał spis wiejskich dworów, pałaców i rezydencji szlachty pruskiej, wieża obronno-mieszkalna została zbudowana przez templariuszy w celu zapewnienia bezpieczeństwa przewożonych kupców wraz z ich majątkiem. Niestety daty budowy ani przejścia dworu w ręce świeckie nie są mu znane. Historia obiektu, którego pierwszą budowlą była dwupiętrowa wieża obronno-mieszkalna na planie prostokąta z nawodnioną fosą, sięga początków XIV wieku. Na początku XVI w. wieżę podwyższono o jedną kondygnację z tarasem widokowym na szczycie.
W latach 1586-1600 posiadłość należała do Heinricha von Vogt i jego następcy, który w roku 1618 dobudował renesansowy budynek. W XIX wieku miała miejsce kolejna rozbudowa obiektu podczas której od strony płn.-zach. dostawiono budynek oraz podwyższono wieżę o jedną kondygnację. Od roku 1638 do 1659 dwór należał do rodziny von Waldau, a w latach 1699 do 1741 do Hansa Christiana von Roth, którego córka Charlotte Eleonora (jej portret na tle zamku znajduje się w Pałacu Królewskim we Wrocławiu) wniosła wieś wraz z dworem w posagu do rodziny Köningsdorf. W roku 1870 hrabia von Köningsdorf sprzedał posiadłość założycielowi spółki cukrowniczej Rath Schöller&Skene, która pozostała w ich posiadaniu do II Wojny Światowej. W czasie wojny żaden z budynków nie ucierpiał. Po wojnie w części pomieszczeń funkcjonował zakład wychowawczy, którego pensjonariusze pracowali przy zakładaniu pól ryżowych w Gospodarstwie Rolnym Lasowa. Lata osiemdziesiąte to próba modernizacji i rekonstrukcji dworu przez ośrodki rolnicze. W 1996 roku AWRSP sprzedała obiekt Edwardowi Ptakowi, który jednak nie podjął żadnych prac remontowych.
Rok 2002 to początek ponownej świetności obiektu, który kupiony przez Państwa Kurzewskich został wyremontowany i przygotowany jako ekskluzywny obiekt hotelowo-konferencyjny. Pierwszych Gości Hotel Zamek Topacz przyjął w 2011, oferując miejsca hotelowe w luksusowych pokojach,2 restauracje, 5 sale konferencyjnych, Muzeum Motoryzacji, 50ha park i wiele dodatkowych atrakcji dla Gości indywidualnych, biznesowych, rodzin oraz grup.
