Od 1434 roku Lipie należało do rodu Rogalów, który przyjął od nazwy swojej siedziby nazwisko Lipskich herbu Rogala. W 1589 roku przekazana przez Jana Lipskiego, Krzysztofa Lipskiego i ich stryja Stanisława Lipskiego konwentom karmelitów trzewiczkowych oraz brygidek. Po przeniesieniu się konwentu do Warszawy nową warszawską posiadłość nazwano Nowolipiem. W XVIII wieku Lipie pozostawało własnością karmelicką, również w 1783 roku. Pod koniec XIX wieku właścicielami majątku lub dzierżawcami byli Kamińscy. W końcu lat dwudziestych XX wieku w Lipiu były dwie większe własności: Aleksander Grobicki miał tu 1552 hektary, a Stanisław Ziejanowski 187 hektarów. Później właścicielem w Lipiu był Zygmunt Ostrowski.