Pierwsza wzmianka o Pogorszewie pochodzi z roku 1340 z dokumentu opisującego granice Redkowic. Wówczas właścicielem był niejaki Sobiesław (Sobeslaus). W 1353 roku komtur gdański Giselbrecht von Dudelsheim nadał połowę Pogoroszewa Wojciechowi Przenowi na prawach magdeburskich. Druga część była wówczas własnością rodu von Jatzkow. Podział ten utrzymał się do 1800 roku. Kolejnymi właścicielami dóbr były rodziny: Pirch, Janowicz, Natzmer, Czapskich i von Schlochow (Słuchowskich), Sarbskich i von der Osten.
We wsi zachował się XIX–wieczny dwór oraz murowana obora z 1844 roku.