W Papowie Biskupim znajdują się ruiny krzyżackiego zamku, który był jednym z pierwszych zamków- klasztorów na terenie państwa krzyżackiego. Zamek został wzniesiony na sztucznie podwyższonym terenie, na planie kwadratu o boku 40 metrów. Do zamku właściwego prowadził most, który otoczony był niskim murem i fosą, od wschodu przylegało rozległe podzamcze. Wewnątrz znajdował się dziedziniec otoczony drewnianymi krużgankami. Burzliwe dzieje historyczne doprowadziły zamek do ruiny. Obecnie z dawnego zamku właściwego zachowane zostało skrzydło północne, grube mury z zachodniego i wschodniego skrzydła a także mury przyziemia ze skrzydła południowego.
Zamek żyje legendą… W Lipienku również stał średniowieczny zamek. Pomiędzy starostami z zamku Papowo i Lipienek, których łączyła bardzo silna więź doszło do niezgody. Przyrzekli sobie, że już nigdy za życia na ziemi się nie spotkają. Przyjaźń była tak wielka, że ich rozłąka była nie do zniesienia ...Rycerz słowa musi dotrzymać… Wydrążyli tunel łączący ich warownie i odtąd spotykali się w półmroku tunelu nie łamiąc przy tym przysięgi. Podobno podziemne przejście spełniało rolę schronu dla pobliskiej ludności w czasach wojen i zaraz. Z podziemnego przejścia korzystało także wojsko, by wyjść na tyłu wroga lub wycofać się z bitwy.
