Pierwsze zapisy nazwy Człuchowa pochodzą z czasów krzyżackich. To właśnie Krzyżacy w 1308 roku zajęli Pomorze Gdańskie, a w 1312 roku wykupili Człuchów.
Do połowy XII wieku Człuchów pełnił rolę grodu pogranicznego Pomorza Gdańskiego i przynależał do Kasztelanii Szczecińskiej, którą w 1309 roku zajęli Krzyżacy. Zbudowali oni w Człuchowie zamek, który miał być symbolem umocnienia ich władzy na tych terenach. Zamek był siedzibą komtura. Był on drugi co do wielkości (tuż po zamku malborskim), z ośmioboczną wieżą, którą przystosowano do długotrwałej obrony.
Człuchów otrzymał prawa miejskie w 1348 roku. Po zakończeniu wojny polsko-krzyżackiej w latach 1454-1466, ziemia człuchowska powróciła do Polski. Od 1463 roku miastem rządził kasztelan nakielski Jerzy Dąbrowski.
Miasto zostało spalone podczas wojen szwedzkich. W późniejszym czasie pożary jeszcze kilkakrotnie niszczyły miasto.
W 1772 roku Człuchów po raz kolejny został zagarnięty przez Prusy. W 1793 roku kolejny pożar zniszczył miasto i zamek. Mieszkańcy otrzymali wtedy zgodę na rozbiórkę zamku. Po kilku latach po obiekcie zostały tylko kamienne mury i wieża. W 1825 roku na zachowanych murach w miejscu dawnej kapicy został wybudowany kościół ewangelicki, z kolei wieża została wykorzystana jako dzwonnica.
W Człuchowie znajduje się również parterowy murowano-szachulcowy dwór z dwiema narożnymi wieżyczkami z ozdobnym ryzalitem. Został on zbudowany w pierwszej połowie XIX wieku. Posiada wysunięty ganek od frontu. Na początku XXI wieku dwór doczekał się remontu elewacji. Dobudowano wtedy również trzecią wieżyczkę. Dwór był związany ze stacją poczty dyliżansowej w Człuchowie. Znajdowała się tutaj stajnia, z której korzystała stacja. Swoją pierwotną funkcję dwór przestał pełnić po wybudowaniu linii kolejowej z Piły do Tczewa (w 1867 roku). Później został wykorzystany jako mieszkania czy siedziba PKS-u. Obecnie w dworze znajduje się Powiatowe Centrum Pomocy Rodzinie, Powiatowy Inspektorat Nadzoru Budowlanego oraz Powiatowy Zespół ds. Orzekania Niepełnosprawności.