Wieś należy do najstarszych posiadłości rodu von Puttkamer. Niektóre źródła podają, iż Poborowo należało do tego rodu od 1380 roku. Pierwsze wzmianki o pałacu pojawiają się już w połowie XVI wieku, chcoć inne źródła podają, że obiekt powstał w XVII wieku, a nawet na początku XIX. W dokumencie z 1523 roku jako właściciel Poborowa wymieniany jest Marcus von Puttkamer. Ostatnimi właścicielami majątku byli bracia Nikolaus-Jesko i Richard von Puttkamer.
Po 1945 roku majątek przejął Skarb Państwa i oddał go w użytkowanie PGR Poborowo.
Obecnie pałac jest własnością słynnego kolaża Czesława Langa.