Gęś po raz pierwszy wzmiankowana jest w dokumentach z 1347 roku. Jest to dawna siedziba rodu Wejherów. W 1377 roku jako właściciel wymieniany jest Wejher von der Gaus. Później majątek musiał przejść w inne ręce, ponieważ w 1660 roku odnotowano fakt sprzedaży przez braci Krokowskich na rzecz Wawrzyńca Krzysztofa von Somnitz. Odtąd aż do 1945 roku Gęś pozostaje własnością tejże rodziny.
Pod koniec wojny w Gęsi mieścił się obóz koncentracyjny dla więźniów ewakuowanych ze Stutthofu.
Znajdujący się tu dwór pochodzi z połowy XIX wieku.