Rożnów należy do miejsc o bardzo wczesnym i bogatym rodowodzie. Znaczenie osady datuje się już od XIII wieku, kiedy to istniała tu prawdopodobnie wcześniejsza osada zwana Łazy, od której pochodzi nazwa cypla nad Dunajcem, Łazisko. Według tradycji znajdował się tam średniowieczny gród strażniczy.
Wieś Rożnów została założona przed 1370 rokiem przez Rożenów herbu Gryf, przybyłych na Sądecczyznę ze Szczyrzyckiego, gdzie posiadali rodowe wsie: Dębową (Dąbie) i Rożnowice (Rożnową). Protoplastą rodu był Michał Rożen (Rożna), znany z dokumentów z 1360 roku. Jego synami byli Klemens i Piotr, a córką Dobrochna, matka kardynała Zbigniewa Oleśnickiego.
W 1370 roku doszło do podziału dóbr rodowych, obejmujących m.in. Rożnów, Przydonice, Radziejowice Małe i Wielkie, Łaziska, Jelną, Jamną i Bukowiec. Rożnów podzielono na dwie części; Piotrowi przypadła część z zamkiem. Piotr Rożen rozpoczął budowę kamiennego, gotyckiego zamku obronnego, tzw. zamku górnego, na zakolu Dunajca, wznoszonego około 1350–1370. Warownia była rezydencją rodową Gryfitów do XV wieku.
Po śmierci Piotra na przełomie 1389/1390, w wyniku sporów rodzinnych i zadłużenia majątku, dobra rożnowskie w latach 1396–1408 przeszły częściowo w ręce Kurowskich, a następnie zostały skupione przez Piotra Kurowskiego herbu Szreniawa (zm. 1463), kasztelana sądeckiego i lubelskiego. W 1425 roku klucz dóbr rożnowskich oddano w zastaw Zawiszy Czarnemu z rodu Sulimów, który w 1426 roku nabył go formalnie za 1000 grzywien.
Po śmierci Zawiszy Czarnego w bitwie pod Głubiem w 1428 roku, majątkiem zarządzała wdowa po nim Barbara z Radolina h. Leszczyc (ur. ok. 1400), bratanica biskupa krakowskiego Piotra Wysza z Radolina h. Leszczyc (ok. 1360-1414). Barbara znacznie rozbudowała majątek. W wyniku podziału spadkowego klucz rożnowski przypadł synowi Zawiszy i Barbary, Janowi Zawiszy Zawiszyc-Garbowskiemu z Garbowa herbu Sulima (ok. 1420-1454), a następnie jego córce Barbarze (1447-1517), która wniosła go w posagu Stanisławowi Tęczyńskiemu z Morawicy herbu Topór (ok. 1450-1484) . Po jego śmierci Barbara odzyskała posag i ponownie wyszła za mąż za Jana Amora Tarnowskiego z Tarnowa herbu Leliwa (ok. 1416-1500), kasztelana krakowskiego i sądeckiego, wojewodę krakowskiego.
Ich jedynym synem był Jan Amor Magnus Tarnowski (1488–1561) – hetman wielki koronny, kasztelan krakowski, wybitny humanista, dowódca i teoretyk wojskowości, autor dzieła Consilium rationis bellicae (1558). Uczestniczył m.in. w bitwach pod Orszą (1508), Wiśniowcem (1512), Obertynem (1531) i Starobudem (1535). W 1547 roku otrzymał od cesarza Karola V tytuł hrabiego. Z jego inicjatywy rozpoczęto budowę nowoczesnych fortyfikacji, tzw. zamku dolnego w Rożnowie. Jednej z pierwszych w Polsce renesansowych twierdz nowożytnego typu.
Po śmierci hetmana w 1561 roku hrabstwo tarnowskie przeszło na jego córkę Zofię Tarnowską (1534-1570), która wniosła je w posagu Konstantemu Bazylemu II ks. Ostrogskiemu herbu własnego, wojewodzie kijowskiemu. W kolejnych stuleciach Rożnów należał do rodów: Zasławskich, Zamojskich, Lubomirskich, Sanguszków, Wielopolskich, a w XIX wieku do Dobrzyńskich i od 1882 roku do Stadnickich.
W wyniku kolejnych podziałów rodowych w rodzinie Ostrogskich oraz licznych koligacji małżeńskich, Rożnów przechodził następnie w ręce spokrewnionych z nimi rodów magnackich. W kolejnych stuleciach dobra rożnowskie znajdowały się w posiadaniu Zasławskich, a następnie Zamojskich, po których przeszły do Lubomirskich i Sanguszków. W okresie nowożytnym Rożnów znalazł się w rękach Wielopolskich, z których wywodził się m.in. Jan Wielopolski, kasztelan wojnicki – gospodarz słynnej publicznej dysputy teologicznej z 1660 roku, która odbyła się na zamku dolnym w Rożnowie.
W XIX wieku majątek rożnowski przeszedł na własność Dobrzyńskich. Przed 1868 rokiem należał do Aleksandra Dobrzyńskiego i jego żony Marii z Jordanów Dobrzyńskiej, a następnie do Adolfa Dobrzyńskiego. W tym czasie majątek obejmował także Radziejowice, Zagórze i Łaziska.
W 1882 roku Rożnów został nabyty od Dobrzyńskich przez Jana ze Stadnik hrabiego Stadnickiego herbu Drużyna (1841-1919) i jego żonę Teofilę Bogumiłę z Łubieńskich herbu Pomian Stadnicką (1850-1933), właścicieli Wielkiej Wsi pod Wojniczem.
W 1922 roku majątek odziedziczyła córka Jana i Teofili, Joanna Krystyna Stadnicka (1884-1958), żona Józefa Jana Stadnickiego ze Stadnik h. Drużyna (1879-1923). Stadniccy byli właścicielami majątku do 1946 r.
Obecny dwór w Rożnowie wzniesiono na początku XIX wieku, prawdopodobnie z fundacji Wielopolskich lub Dobrzyńskich, być może na reliktach wcześniejszej budowli. Jest to klasycystyczna, murowana z cegły i tynkowana rezydencja, wzniesiona na planie prostokąta. Budynek jest parterowy, dwutraktowy, z użytkowym poddaszem, niepodpiwniczony.
Od frontu znajduje się monumentalny portyk kolumnowy o wielkim porządku architektonicznym, zwieńczony belkowaniem i trójkątnym przyczółkiem. Elewacja tylna posiada wgłębną galerię opartą na ośmiu kolumienkach. Całość nakrywa dach czterospadowy, obecnie kryty blachą.
W kilku reprezentacyjnych wnętrzach zachowały się polichromie z początku XIX wieku: widoki pejzażowe (według tradycji m.in. Paryża), sceny rodzajowe w supraportach, alegorie czterech pór roku, putta i ornamenty. Malowidła te przypisywane są Michałowi Stachowiczowi (1768–1825) – artyście znanemu z realizacji w Krakowie i we dworze w Rząsce. Z pierwotnego wyposażenia zachowały się także trzy kamienne kominki.
W bezpośrednim sąsiedztwie dworu znajduje się drewniany kościół św. Wojciecha z XVII wieku, odrestaurowany na przełomie XIX i XX wieku staraniem Stadnickich, z secesyjną polichromią.