Nad wejściem do pałacu wykuto napis, który miał witać gości – „Boże! Ci wszyscy, którzy tu bywają, czego nam życzą, niechaj sami mają”. Pałac został wybudowany w latach 1894-1899 przez ówczesnych właścicieli, rodzinę Druckich-Lubeckich. Obiekt składał się z 36 pokoi, sali balowej, biblioteki oraz kancelarii księcia Aleksandra Druckiego-Lubeckiego. Ściany komnat pałacowych, w pierwszej połowie XX wieku, były zdobione gobelinami, makatami i portretami przodków właścicieli. W kolekcji księcia znajdowały się także zbroje rycerskie.
W 1926 roku w pałacu wybuchł pożar. Spłonął dach. Zniszczeniu uległa też część pierwszego piętra oraz prawie całe drugie. Budynek został jednak odbudowany.
W czasie okupacji, właścicielem był Ksawery Drucki-Lubecki. Wspierał on żołnierzy Armii Krajowej oraz pomagał ukrywającej się ludności żydowskiej. Rodzina opuściła Bałtów w 1944 roku. Jedynie niewielka część cennego wyposażenia rodowej siedziby została przez nich uratowana. W trakcie ucieczki z pałacu zaginęło archiwum oraz wiele pamiątek. Pod koniec II wojny światowej spaliła się duża część księgozbioru, resztki umeblowania zostały natomiast rozkradzione przez oddziały żołnierzy niemieckich, a potem rosyjskich.
W 1945 roku pałac był siedzibą posterunku Milicji Obywatelskiej. Od 1952 roku w obiekcie istniało Technikum Rolnicze. Było to również miejsce zamieszkania nauczycieli. Pod koniec lat czterdziestych miało tu powstać muzeum regionalne, ponieważ pałac pełnił wtedy rolę magazynu sprzętu i mebli z okolicznych dworów i pałaców. Tak się jednak nie stało, pałac przestał być użytkowany i przez lata niszczał. W latach osiemdziesiątych podjęto próbę remontu pałacu, do którego jednak nie doszło. W 2007 roku zostały skradzione dwa kamienne lwy, które dawniej pilnowały wejścia do pałacu.
W Bałtowie zachowały się także ruiny kaplicy, która została wzniesiona w 1786 roku. Mieszkańcy twierdzą, iż pomiędzy kaplicą, a pałacem istnieje podziemny tunel – oba obiekty dzieli zaledwie kilkadziesiąt metrów.
W 2014 roku pałac powrócił do spadkobierców księcia Druckiego-Lubeckiego. Nie podjęto jednak prac remontowych.
