O Żelistrzewie dowiadujemy się już w XIII wieku. Dziedzicem wsi był Gustaw Below. Za czasów krzyżackich osada należała do komturstwa gdańskiego. W 1469 r. król Kazimnierz zapisał Ściborowi i jego braciom za wierne usługi 500 grz. na Żelistrzewo, które im dał w zastaw aż do spłacenia tej kwoty. W 1495 r. Gdańszczanie uzyskali od króla Jana Olbrachta prawo wykupienia tych dóbr od ówczesnego dziedzica. W 1520 r. niejaki Maciej Sławtowski donosi, iż Gdańszczanie żądają od niego niesprawiedliwie podatków i tłoki. Dostał na tę skargę odpowiedź z Gdańska, aby udowodnił, że tylko do mniejszych ciężarów jest zobowiązany. Pod koniec XVI wieku została zakupiona przez Ernesta Wejhera, potem przeszła w ręce Przebendowskich. Według Topografii Goldbecka z 1789 r. Żelistrzewo było opisywane jako wieś szlachecka będąca wolnym sołectwem przynależącym do Rzucewa. Była ona wtedy w posiadaniu rodziny Gibsone.
Dwór znajduje się na skrzyżowaniu dróg leży w centrum wsi. Obiekt jest obecnie przebudowany i pełni funkcje Wiejskiego Ośrodka Kultury.
