W XV i XVI w. Klonowiec należał do rodziny Klonowskich herbu Grzymała. Pod koniec XVIII w. był własnością Ludwika Wieszczyckiego, po śmierci którego przejął go syn Rudolf Józef Wieszczycki. Rudolf był zasłużonym działaczem samorządowym i patriotycznym. Pełnił funkcję radcy województwa mazowieckiego, posła na sejm w latach 1824 i 1830. W sejmie powstańczym podpisywał ustawy o uznaniu ich za narodowe i o pozbawieniu tronu polskiego przez Romanowów. Po klęsce powstania listopadowego zmuszony był uciekać zagranicę. Jego majątek (w tym Klonowiec Stary) został skonfiskowany przez rząd carski, a że był zadłużony to wystawiono go na licytację. Klonowiec kupił Wojciech Bojarski z żoną Ludwiką z Wieszczyckich. Bojarski był naczelnikiem Buchalterii w Komisji Rządowej Przychodów i Skarbu. Zmarł w 1851 r. W testamencie połowę majątku zapisał żonie, a drugą połowę swojemu rodzeństwu, bratankom i Towarzystwu Dobroczynności. Kolejnym właścicielem Klonowca był Bolesław Jakuszewski. Sprzedał go Witoldowi Mniewskiemu, który z kolei przekazał majątek ojcu Feliksowi. Po jego śmierci w 1872 r. sprzedał Klonowiec Stanisławowi Zawadzkiemu. Po nim dziedziczyły go jego dzieci: Janina Maria Aniela baronowa Dangel i Adam Marian Zawadzki, który przejął część siostry. Zawadzki w 1902 r. sprzedał majątek Władysławowi Karskiemu. W 1907 r. należał już do Marii Wrońskiej, a w latach 1909-1912 do Adolfa Aleksandra Smoleńskiego, który sprzedał go Wieszczyckiemu. W tym samym roku Klonowiec kupili w równych częściach Bolesław Wyganowski i Jan Orzechowski. Wyganowski sprzedał swoją część Orzechowskiemu. Gdy ten zmarł w 1917 r. połowę Klonowca odziedziczyła jego żona Lucyna Celina Orzechowska. Ostatnią właścicielką połowy Klonowca była Janina Lucyna z Orzechowskich Skarżyńska oraz Antoni Stanisław, Kazimierz i Andrzej Maria Orzechowscy w równych częściach co do drugiej połowy. Majatkiem administrował Kazimierz. W 1945 r. majątek przejął Skarb Państwa i rozparcelował, a we dworze otwarto szkołę podstawową, która działa tam do dzisiaj.
Na początku XX w. przy starym dworze wybudowano nowy dom mieszkalny – piętrowy, bezstylowy.