Gołębie to wieś położona nad rzeką Bug. Dawniej nazywano ją Holubie, a nazwa pochodziła z języka ukraińskiego. Pierwszy raz miejscowość była wymieniana w źródłach z 1472 r., kiedy należała do Jana Uhrynowskiego z Uhrynowa. W 1487 r., właścicielką wsi została Małgorzata Uhrynowska, prawdopodobnie żona Jana. W tym czasie Mikołaj Zbrożek z Żernik zamienił z Janem Uhrynowskim łan w Werchracie na część w Uhrynowie, Hołubiu i Nuśnicach, a w następnym roku wykupił resztę. Od końca XVI w. do około 1640 r. istniał w Gołębiach (Hołubiu) zbór kalwiński. W tym czasie wieś należała do Andrzeja Firleja. W 1639 r. właścicielem został Jakub Leszczkowski, a następnie Żórawiński. Po jego śmierci dobra odziedziczył jego bratanek Marek, a syn Jana i Elżbiety Chmiel. W latach 1681-1700 wieś należała do Karczewskiego.
W 1757 r. kolejnym właścicielem został Franciszek Junosza Zawadzki, scholastyk katedry chełmskiej. W 1781 r. właścicielką wsi była Aleksandra Moszczyńska.
Pod koniec XVIII w. Gołębie przeszły do Józefa Stefanowicza i jego żony Zofii z Juskiewiczów, od których w 1800 r. dobra odkupił zięć Franciszek Benedykt Jeżewski, żonaty z Eufrozyną Stefanowicz. Franciszek Jeżewski był kapitanem wojsk polskich i uczestnikiem powstania listopadowego. W 1840 r. majątek w połowie odziedziczyły ich dzieci: Julian i Nimfa Jeżewscy, a w połowie ich matka Eufrozyna. W 1841 r. Julian odkupił część majątku od siostry i w 1855 r. resztę od matki. Po nim majątek odziedziczyła córka Emma, która poślubiła Eustachego Swieżawskiego, syna Romualda. Następnie Gołębie przeszły w ręce ich syna - Władysława Swieżawskiego żonatego z Marią Ścibor-Rylską, córką Władysława i Izabeli z Puzynów. Po śmierci Władysława majątek przejęły jego dzieci: Eustachy, Stefan, Władysław i Maria. W majątku tym, w 1907 r. urodził się Stefan Swieżawski, filozof i wykładowca na uniwersytetach w kraju.
Dwór został przebudowywany przez kolejnych właścicieli z modrzewiowego na częściowo murowany z piętrem. Możemy go podziwiać po dzień dzisiejszy, ponieważ jest w bardzo dobrym stanie. Niedaleko pałacu zachował się, dziś już zaniedbany i zapomniany park. Na jego obrzeżach stoją opuszczone budynki po PGR. Niedaleko wsi Gołębie, jadąc kamienistą drogą w kierunku kolonii Zaręka, wśród pól, znajduje się spory lasek zwany Hrobustem. Prawdopodobnie dawniej był to także park. W majątku znajdowała się także bażanciarnia. Na rogu lasku można zobaczyć pozostałości po starej studni. Obecnie jest to królestwo bobrów.
Zespół dworski znajduje się w rękach prywatnych, a dostęp do niego jest utrudniony. Otoczony jest starymi świerkami, oplecionymi zdziczałą, bujną winoroślą.