Pierwsza wzmianka o wsi pochodzi z 1313 roku (Crampen). W 1329 roku obowiązywała inna wersja nazwy – Krampe/Crampe. Zachowała ona charakter słowiański, oznaczała suchą wyniosłość na bagnie. W tym samym roku ówczesny właściciel hrabia Jesko von Schlawe sprzedał majątek Zakonowi Krzyżackiemu. W późniejszym czasie osada na powrót wróciła w ręce prywatne i miała wielu właścicieli. Od XV wieku wieś należała do rodziny von Puttkamer. W 1496 roku toczyli oni spór z księciem pomorskim Bogusławem o Krępę i Łabuń. W jego wyniku zatrzymali prawa jedynie do Krępy. W 1717 roku właścicielem wsi był Casper Friedrich von Puttkamer. Rodzina Puttkamerów utrzymała się w Krępie do początku XIX wieku. W 1844 roku majątek został sprzedany Paulowi Breyerowi. Inne źródła podają, iż Krępa Słupska była w posiadaniu rodziny Breyerów już w 1828 roku. Od 1924 roku Krępa była w rękach Margarete Genth, z domu Breyer. Ostatnim przedwojennym właścicielem majątku był dr Genth, który uchodził za wybitną postać w powiecie.
Murowany pałac znajdujący się w Krępie pochodzi z 1889 roku. Jest to budynek murowany, parterowy, zbudowany w stylu późnoklasycystycznym. Otacza go park z XIX wieku. o powierzchni 4ha.
Do dziś zachowała się także oboro-stodoła, o której krążą legendy, że między nią, gorzelnią i dworkiem znajdują się łączące je tunele:
Według legend przed wybudowaniem dworku, nad brzegiem rzeki Słupi stał zamek. Mieszkał w nim szlachcic, twardy i okrutny. Chłopi pracujący u niego mieli ciężkie życie. Pewnego razu spotkał w lesie pewnego chłopa, który niósł upolowaną sarnę. Zezłościł się na niego, że polował w jego lasach oraz zawłaszczył sobie jego zwierzynę i kazał go powiesić. Gdy wrócił do zamku, przed budynkiem stała stara kobieta, prosząc go o jałmużnę. Dziedzic nic jej nie dał oraz wyzywał ją od wiedźm. Wówczas ona nagle urosła i wyciągając ku niemu rękę zawołała, że ma serce z kamienia. Więc on i wszystko co posiada zostaną zaczarowane na dnie rzeki Słupi. Po tych słowach wszystko zniknęło. Po wielu latach jeden z flisaków zatrzymał swoją tratwę akurat w miejscu, gdzie znajdował się zatopiony zamek. Dostrzegł pod wodą jego bramy. Gdy zawołał towarzysza, by mu pokazać znalezisko - budynek zniknął jeszcze głębiej pod wodą. Innym razem pewien młody wędrowiec spotkał pannę ubraną na biało. Podszedł do niej, a ona dała mu monetę i poprosiła o kupno butów, zastrzegła jednak sobie, że chłopak ma się nie targować. Następnego dnia mężczyzna kupił buty, zapomniał jednak o warunku i stargował się o jednego talara. Po wypełnieniu misji dał kobiecie obuwie i resztę. Kobieta zaczęła zawodzić, że gdyby spełnił jej warunek, uwolniłby zamek od klątwy. A teraz musi czekać kolejne sto lat na następną szansę. Na miejscu zamku wybudowano ówczesny dwór.
