O wsi Brudzewo dowiadujemy się po raz pierwszy w 1285 roku, kiedy to książę Mściwój podarował wieś klasztorowi św. Klary w Gnieźnie. Następnie w 1376 bracia Stanisław i Mikołaj, synowie Alberta z Łebcza, przekazali wieś komturowi gdańskiemu Zygfrydowi Waltpolowi von Bassenheim. W 1394 r. komtur gdański Jan Rumpenheim nadał wsi prawo chełmińskie. Od 1592 r. Brudzewo znane jest jako własność Ernesta Wejhera, który zakupił ją razem z Celbowem. W rękach Wejherów pozostała do chwili wymarcia rodu, przechodząc przez ręce Przebendowskich, by w 1797 przekształcić się w wieś królewską.
Niestety dziś niewiele wiemy o istniejącym zdeformowanym budynku dworu, o którego zabytkowym charakterze świadczy resztka attyki nawiązująca do podobnych obiektów w sąsiednim Celbowie i Celbówku.