Malowniczo położony ładny klasycystyczny pałac, wybudowany jako parterowy około 1785 roku dla Niegolewskich zapewne przez budowniczego Bernarda Leinwebera z Poznania.
Dwa razy gruntownie rozbudowywany w XIX wieku, m.in. przez nadbudowanie piętra.
W 1322 roku Bytyń był własnością kanclerza Królestwa Polskiego i kasztelana międzyrzeckiego Piotra Drogosławica de Bitino. Później zmieniał właścicieli, by między rokiem 1520 a 1751 być własnością Konarzewskich herbu Poraj, w których rękach pozostawał do 1751 roku, kiedy to kupił go Andrzej Niegolewski z Niegolewa (1714-1770), starosta pobiedziski, miecznik i chorąży wschowski.
W XIX wieku na dwa pokolenia przeszedł przez małżeństwo na Gąsiorowskich – Bronisława i jego córkę Helenę – by w XX wieku wrócić przez dziedziczenie do Niegolewskich. W Bytyniu urodził się w roku 1786 Andrzej Niegolewski, bohater spod Somosierry, jeden ze słynnych szwoleżerów.
Na przełomie XIX i XX wieku właścicielką Bytynia była Helena Gąsiorowska. Żyjąc skromnie w Nicei z dochodów po matce Francuzce, wszystkie dochody ze swych polskich majątków, w tym z Bytynia, przekazywała na polskie cele dobroczynne. Ufundowała m.in. szpital ortopedyczny w Poznaniu niegdyś nazywany imieniem Gąsiorowskich przy ulicy ich imienia.
W 1939 roku właścicielem Bytynia był Andrzej Niegolewski. Majątek Bytyń wraz z folwarkiem Witkowice w 1926 roku liczył 2146 hektarów, miał gorzelnię, krochmalnię i tartak.
Pałac jest obecnie własnością prywatną. Od kilku lat trwa w nim remont. Nie jest udostępniony turystom.