W XVIII i XIX w. Rybie było własnością rodziny Gajewskich herbu Ostoja. W 1819 r. majątek po Franciszku Gajewskim odziedziczył Antoni Gajewski i jego żona Urszula Żwan. W 1841 r. zapisała ona majątek mężowi i jego siostrzenicy - Mariannie Myszczyńskiej, żonie Piotra Śliwińskiego. Pięć lat później Piotr kupił Rybie. W 1876 r. odziedziczył je Ignacy Piotr Śliwiński, a 1896 r. jego córki: Józefa Wanda i Jadwiga Maria. W 1905 r. siostry sprzedały majątek Leonowi Ręcickiemu. W 1926 r. Rybie zakupił Cyryl Józef Fiszer. Pięć lat później upoważnił do administrowania majątkiem żonę, Janinę z Chełchowskich. Cyryl i Janina mieli trzy córki: Bronisławę Pruską, Jadwigę Bortel i Janinę Józefę Ruszkowską. W 1946 r. majątek został rozparcelowany.
Dwór w Rybiu nie zachował się do naszych czasów.