Pierwsza wzmianka o Łoży pochodzi z 1360 roku z dokumentu lokacyjnego, w którym nadano 44 włóki Tylikanowi. W drugiej połowie XVI wieku właścicielem majątku był M. Walde. W okresie rozbiorów Łoża wraz z Olszanowem przeszły w ręce pułkownika Piotra Ewalda Manteuffla-Kiełpińskiego, po którym majątki odziedziczył Franciszek Kiełpiński. Część Łoży należała do Wojciecha Lipińskiego. W 1804 roku Kiełpińscy sprzedali majątek Pawłowi Przytarskiemu z Raciniewa.
Z dawnego kompleksu dworskiego zachowała się oficyna pałacowa z końca XIX wieku, murowana z cegły licówki z bogatym ceramicznym detalem oraz park krajobrazowy.