Za czasów książąt pomorskich Mirachowo należało do kasztelanii gdańskiej i leżało w tzw. ziemi chmielnińskiej. W 1253 roku panem był tutaj Świętopełk. W 1381 roku Krzyżacy urządzili w Mirachowie wójtostwo, które należało do komturstwa gdańskiego. Po drugim pokoju toruńskim (1466) Mirachowo należało do województwa pomorskiego. Lustracja z 1565 roku wykazuje jako dzierżawcę Mirachowa Mikołaja Szczawińskiego. Nie było tam zamku, ale stał drewniany dwór, który został wybudowany przez Łukasza Komopackiego. W 1772 r. rząd pruski odebrał majątek, wypłacając ostatniemu staroście 4666 talarów. Majątek został oddany w dzierżawę. Pod koniec XVIII w. wybudowano nowy budynek dworu w miejscu starego. Postawiono także paterową oficynę dworską, która przylegała do budynku od strony północnej. W 1818 r. władze pruskie przeniosły swoje urzędy do Kartuz. W 1891 r. nowym właścicielem dworku w Mirachowie został Ernest Röhring, a kolejno jego spadkobiercy. W 1903 r. majątek został przejęty przez fiskus i oddany w dzierżawę Georgowi Scupinowi. w 1916 r. nowym dzierżawcą został Johan Kribel, a w 1922 r. Andrzej Wardyn. W 1930 r. w wyniku parcelacji, właścicielem dworu został Andrzej Wardyn. W 1939 r. majątek zajęli Niemcy. Po II wojnie światowej Wardynowie wrócili do dworu i do dziś należy on do rodziny. W latach 1969/70 i 2012/13 przeprowadzono prace konserwatorskie.
Dworek był rezydencją polskich starostów niegrodowych w latach 1473-1772 - Hektor Machwicz (1473 – 1496), Unruchowie (1496 – 1515), Szczawińscy (1515 – 1594), Szczepańscy (1594 – 1658), Linde (1658 – 1677), Jan Przebendowski (1677 – 1729), Franciszek Bieliński (1730 – 1745), Jakub Przebendowski (1745-1752), Ignacy Przebendowski (1752-1772). W dworku odbywały się zjazdy sejmików i sądy ziemskie.