Wcześniejsze nazwy Poganic to: 1569 – Poganitz, 1595 – Pogganitz, 1628 – Pogantze. Jest to dawne lenno rodu von Grumbkow z nadania księcia Eryka Pomorskiego. W XVIII wieku i na początku XIX wieku właścicielami majątku byli Pirchowie. W 1784 roku we wsi znajdował się folwark, młyn wodny i 15 dymów. Od 1825 roku dobra należały do rodziny Rieck i Rieck-Eggebert. Ostatnim przedwojennym właścicielem Poganic był Erich Rieck-Eggebert.
Pałac znajdujący się w Poganicach został zbudowany w 1906 roku. Jest to budynek murowany, o powierzchni użytkowej 1200 metrów kwadratowych. Położony jest na niewielkim wzniesieniu górnego tarasu doliny rzeki Łupawy, w otoczeniu parku. W Poganicach znajduje się także młyn wodny z połowy XIX wieku.