Pierwsza wzmianka o wsi pochodzi z XIV w. W 1485 r. stanowiła ona własność von Schwave, a następnie stała się lennem rodu von Rhamel. Z 1523 r. zachował się dokument, w którym napisano: Jurgen Ramel myt synem Broder thom Weitenhagen. W 1717 r. właścicielami wsi byli: Gneomar R. von Rhein i Joachim D. von Rhamel. Pomimo podziału i kolejnych zmian właścicieli udało się Christianowi von Rhamel połączyć majątek i przekazać w tym kształcie synowi. W 1784 r. we wsi były dwa folwarki, kuźnia, karczma, młyn wodny i 38 domów. W 1786 r. dobra przeszły w ręce Joachima von Bandemera, który posiadał majątki w Retowie i Kukowie. Jego syn, Wilhelm stworzył prawdziwe latyfundium gromadząc w swych rękach kilkanaście wsi. Ostatnimi dziedzicami Wytowna byli Wilhelm i Roger (Rudiger) von Bandemerowie. W 1940 r. hitlerowcy założyli we wsi obóz pracy, w którym więzili Polaków i Rosjan.
Późnobarokowy dwór znajdujący się w Wytownie został wybudowany w poł. XVIII w. Otoczony jest zespołem parkowym z fosą. Obiekt został wymurowany z cegły, pokryty dachem naczółkowym. Zasadnicza część dworu zbudowana została na planie prostokąta z ryzalitem środkowym od północy. Dwór został przebudowany na początku XIX w. Wówczas do wschodniej strony dworu dobudowano skrzydło północne, a do niego dobudowano skrzydło wschodnie. Z zabytkowego wyposażenia zachował się kominek i malowany herb rodu von Puttkamer.
Po II wojnie światowej w dworze umieszczono biura miejscowego PGR. W latach 70. pałacowe pokoje wyposażono w łóżka i utworzono w nim ośrodek wczasowy dla górników. Po 1992 r. dwór i część terenów wokół niego zakupił Jerzy Izdebski, ustecki radny miejski i kandydat na senatora. W 2010 r. dawny właściciel zmarł.
