Wielka szkoda, że tak niewiele zachowało się ze wzniesionego tu około 1780 roku pałacu. Jego fundatorem był królewski bratanek, późniejszy podskarbi wielki litewski Stanisław Poniatowski, a projektodawcą najprawdopodobniej Stanisław Zawadzki (1743–1806), pułkownik artylerii, zastępca komendanta Korpusu Inżynierii Koronnej oraz budowniczy Komisji Edukacji Narodowej. Już wcześniej wzniósł on dla księcia oryginalny i funkcjonalny pałacyk Ustronie w Ujazdowie pod Warszawą, a kiedy trafił na emeryturę, zaprojektował na przełomie XVIII i XIX wieku trzy wspaniałe klasycystyczne wielkopolskie rezydencje: w Śmiełowie, Dobrzycy i Lubostroniu. W Górze powstała budowla parterowa z kondygnacją mezzanina, z trzema ryzalitami od frontu i trzema od ogrodu, z których środkowy zamknięty był trójbocznie. Wnętrza pokryły polichromie Szymona Mańkowskie-go, współautora polichromii pałacu biskupa Michała Poniatowskiego w Jabłonnie. W 1888 roku, kiedy pałac od kilkudziesięciu lat stanowił już siedzibę prawosławnych archirejów (wyższych duchownych), został nieco przebudowany: obniżono dach, przekształcono wnętrza, zmieniono obramienia okienne, a w tympanonie środkowego ryzalitu pojawiło się płaskorzeźbione Oko Opatrzności. Widok pałacu od strony Narwi zachował się na rycinie Zygmunta Vogla z 1801 roku.