W 1783 roku Grzybowo stanowiło własność Michała Gadomskiego, a w wieku XX Zawadzkich. W ich rękach pozostawało do końca. W 1905 roku Grzybowo należało do Tadeusza Szymona Zawadzkiego, a w końcu lat dwudziestych do Tadeusza Henryka Zawadzkiego. Majątek liczył wówczas 282 hektary. Tadeusz Henryk Zawadzki (ur. 1889), aresztowany przez gestapo 29 września 1939 roku wraz z grupą ziemian i inteligencji i osadzony w obozie Hohenbruch koło Królewca, został zamordowany tam lub w Działdowie. Jego żona Wanda z Kamińskich była więziona przez Niemców na Pawiaku, a później walczyła w powstaniu warszawskim. Ich syn Jerzy Stanisław Zawadzki, urodzony w 1918 roku w Grzybowie, wyrzucony wraz z matką z Grzybowa po aresztowaniu ojca, żołnierz AK i uczestnik powstania warszawskiego w pułku Baszta, poległ 1 sierpnia 1944 roku w rejonie ulicy Narbutta; odznaczony pośmiertnie Krzyżem Walecznych.