U schyłku XVIII w. Ruszki należały do Pawła Elżanowskiego. Ożenił się on z Kunegundą Łęcką herbu Sariusz i miał z nią syna Wincentego. Wincenty odziedziczył po ojcu majątek w Ruszkach. Jego część posiadał również Antoni Łęcki. Po śmierci Antoniego część Ruszek przejęli jego synowie: Faustyn, Felicjan, Stanisław i Antoni. Stanisław i Antoni sprzedali swoje części Faustynowi Łęckiemu. W 1801 r. Paweł Elżanowski razem z Andrzejem Stokowskim odkupili od Józefa Grzybowskiego część Ruszek. Paweł Elżanowski powtórnie ożenił się ponownie z Teklą z Garbowieckich, z którą miał siedmioro dzieci: Józefa, Wincentego, Stanisława, Mariannę, Bibiannę, Jana i Klemensa. Dzieci odziedziczyły po Pawle Ruszki, które w 1844 r. sprzedały Piotrowi Wieszczyckiemu. Faustyn Łęcki zmarł w 1839 r. Jego córka, Marianna Śnieżyńska w 1857 r. sprzedała swoje części Ruszek Władysławowi hrabiemu Łubieńskiemu. W tym samym roku sprzedał on je I. Polakowskiemu, który odkupił pozostałą część Ruszek od Stokowskiego. W 1870 r. właścicielem Ruszek był już Adolf Sokolnicki. Sześć lat później kupił je Artur Śliwiński. W 1877 r. urodził mu się w nich syn, również Artur - historyk, publicysta, polityk, premier Polski w 1922 r., senator IV oraz V kadencji w II RP w latach 1935–1939, wolnomularz, bliski współpracownik Józefa Piłsudskiego. W 1886 r. od Śliwińskiego Ruszki odkupił Stanisław Gołębiowski. Po jego śmierci majątek odziedziczyła żona Maria Gołębiowska i ich czwórka dzieci: Medard, Julian, Stanisław i Maria. W 1901 r, ¾ majątku należały do Tadeusza Sieleckiego, a ¼ do rodzeństwa Stanisława i Marii Gołębiowskich. Od 1904 r. właścicielem był już tylko Sielecki. Dwa lata później Ruszki nabył Tadeusz Popowski i jego żona Maria Marcella z Grochowskich. Tadeusz zmarł bezpotomnie w 1930 r., a majątek po nim przejęła żona. Od 1935 r. właścicielami Ruszek był Jerzy Morawski i jego żona Maria z Tołkaczów. W 1947 r. majątek został rozparcelowany.
Dwór w Ruszkach – murowany, piętrowy, podpiwniczony, tynkowany - wybudowano w końcu XIX w., dostawiając go do starego, drewnianego dworu. Posiada on boniowane naroża ścian, ozdobne obramowania okien i dwuspadowy dach. Dwór otaczają resztki dworskiego parku w stylu krajobrazowym z przełomu XIX i XX w. Obecnie obiekt należy do prywatnej osoby, która w latach 2008-2009 przeprowadziła gruntowny remont. Aktualnie dwór wystawiony jest do sprzedaży.
