Osada Lipce (Lepitz, niem. Guteherberge) wzmiankowana jest już w 1367 r. Wieś związana jest ściśle ze znanym gdańskim rodem Ferberów. W 1550 r. sprawujący urząd burmistrza Konstantyn Ferber nabył urząd sołtysa tej wioski a wraz z nim przypisany sprawującemu tę funkcję sołtysi dwór oraz dwa i pół łana gruntu.
Dwór musiał być nie byle jaki, ponieważ w 1677 r. nocował w nim król Jan III Sobieski wraz z małżonką Marysieńką.
Na początku XVIII w. dwór został przebudowany przez Nathaniela Gotfryda Ferbera. Zapewne dalsze zmiany związane z modernizacją obiektu były konsekwencją zniszczeń dokonanych przez Kozaków w 1734 r. Obiekt przebudowano prawdopodobnie w latach 1738-1750.
Znacznego uszczerbku założenie dworskie doznało w okresie wojen napoleońskich (1807-1813) gdy Lipce były kilkukrotnie plądrowane oraz powódź, która była spowodowana przerwaniem wału Raduni.
W 1813 r. po śmierci ostatniego przedstawiciela z rodu Ferberów posiadłość odziedziczyli ich spadkobiercy. Przez kilka lat w największym dworskim pomieszczeniu ewangeliccy duchowni z pobliskiej Oruni odprawiali nabożeństwa, ponieważ tamtejszy kościół p. w. św. Jerzego został przez Kozaków spalony w 1813 r.
W latach 1822-1892 właścicielkami nieruchomości były prowadzące szpital miejski – gdańskie diakoniski. Gospodarzami dworu na przełomie XIX i XX w. były rodziny: von Wogenfeldów i Mischów. Od końca minionego stulecia, do wybuchu drugiej wojny światowej właściciele nieruchomości zmieniali się aż czterokrotnie. W okresie międzywojennym w dworze urządzono szkołę ogrodniczą dla dziewcząt oraz sanatorium, które funkcjonowało do 1945 r.
Po zakończeniu się II wojny światowej dwór wraz z założeniem parkowo-ogrodowym przeszły na własność Skarbu Państwa. W 1959 r. działał tu Ośrodek Szkolenia Rolniczego.
