Pałac uznawany za dzieło architekta Hilarego Szpilowskiego, autora pięknych klasycystycznych pałaców w Małej Wsi, Luberadzu, Słubicach, Walewicach (poza granicami obecnego województwa mazowieckiego), Staroźrebach, Rudnie oraz być może dworów w Tułowicach oraz Czerwonce. Wzniesiony około 1790 roku dla rodziny Skarżyńskich, złożony pierwotnie z korpusu głównego i dwóch bocznych oficyn połączonych z korpusem dwukrotnie załamanymi kolumnowymi galeriami, w czym przypominał nieodległy pałac w Słubicach. Piętrowy, nakryty niegdyś dość niskim dachem czterospadowym, z pozornymi jednoosiowymi ryzalitami bocznymi opiętymi pilastrami jońskimi w wielkim porządku i wielkoporządkowym jońskim portykiem in antis poprzedzającym wejście i zwieńczonym trójkątnym frontonem. W elewacji ogrodowej motyw rozpoznawczy architektury Szpilowskiego, obecny niemal we wszystkich projektowanych przez niego pałacach: skrajne ryzality ujmujące taras. Malowniczym dopełnieniem założenia jest brama, której przejazd fl ankują trójkolumnowe „wiązki” o jońskich głowicach z impostami roszerzającymi się ku górze. Hilary Szpilowski (1753–1827) w okresie Księstwa Warszawskiego był budowniczym departamentowym, od 1817 roku wykładowcą Uniwersytetu Warszawskiego, autorem nie tylko pałaców, ale również projektantem klasycystycznych ratuszy i kościołów na Mazowszu. Jego synem był architekt Sylwester Szpilowski (zm. 1832), od 1817 roku budowniczy województwa kaliskiego, autor gmachów o surowych klasycystycznych formach nadających pozostającemu pod zaborem rosyjskim wielkopolskiemu Kaliszowi petersburski rys. Wśród pozostałości parku krajobrazowego grota wzniesiona przed 1907 rokiem z inicjatywy Alfonsa Skarżyńskiego.
W 2009 roku pałac zakupiła rodzina Olewników. W 2018 roku ukończono jego odbudowę.