山形県尾花沢市の市街地から南東方向、銀山温泉に向かいおよそ８kmに、この地を支配していた延沢氏が拠点とした延沢城跡がある。
延沢城は、比高約120m、標高297mの古城山に築かれた山城である。城域は、東西約550m、南北約350mほどで、頂部の主郭を中心に、北側、東側稜線上に段郭を配している。
主郭の規模は東西約100m、南北約70mほどで、東端には櫓台が築かれており、北側と東側には土塁が築かれている。北に大手、南に搦手の虎口を設けており、北の大手虎口は桝形で。石積が施されていた。南端の虎口は小規模な枡形虎口で、「穴道」あるいは「かくし道」と呼ばれる道が南麓の善法堂まで繋がっていた。北側には数段の段郭を配した北郭があり、切堀で区画されている。
主郭から北へ段々と曲輪が連なり、「天人清水」と呼ばれる井戸のある大堀切に至る。この堀切の西側には二重の竪堀が設けられている。山麓の現在の小学校は南館と呼ばれ、居館があり、その裏側は家臣団の屋敷があった。
延沢氏の菩提寺である龍護寺の山門は、寛永7年（1667）に廃城となった延沢城の三の丸大手門を移築したものである。
延沢城は、天文16年（1547）、延沢薩摩守満重により築かれ、以後、代々延沢氏の居城となった。延沢氏の出自は不明だが、応永2年（1395）、この地に土着した算学兵術の達人、日野大学頭昭光を祖とするとされ、また正平年間（1346～70）頃、東根城を居城とした小田島氏の庶流を祖とする説もある。いずれにしても延沢氏は、15世紀初期頃までにこの地に土着し、延沢銀山の利権を握り、支配拠点として延沢城を築いたと推測される。
この延沢城跡には天人清水と呼ばれる小さな清水があり、次のような伝説が伝えられる。
延沢満重は、豪勇の士として近隣に名を響かせていた。しかし独り身で跡継ぎはなく、あるとき妻を持つことにした。しかし立派な跡継ぎを望んでいた満重は、尋常の妻ではそれはかなわないだろうと思い、精進潔斎して観音菩薩に祈ると、果たしてお告げがあった。それによると、古城山の山中に、清水が涌いており、そこに天女が舞い降りるので、それを妻にしたら良いだろうということだった。
満重は山中に入り清水を探すと、妙なる音楽が天より聞こえ、この地にこんこんと泉が湧き出した。満重はこここそ観音様のお告げの地だと信じ、この地で天女を待ち受けた。待つこと数日、泉に数人の天女が舞い降り、羽衣を傍らの木の枝にかけ、水浴びを始めた。
満重は、天女の美しさに呆然としていたが我に返り、羽衣を一枚隠した。天女たちは満重に気づき、一人の天女を除き羽衣を身に着け飛び去ってしまった。取り残された天女は困惑していたが、満重は観音様のお告げの話をし、この天女を妻とした。
その後満重は、この天女との間に子を授かったが、満重の留守中に天女は満重が隠していた羽衣を見つけた。子を連れて天に戻ることはできず、天女は迷った末に子供のために手紙を残し天へ帰った。手紙には、子の成長を祈り、「この清水のあたりに城を築けば、子々孫々繁栄するだろう」とあり、「築城に必要な資材は天より送る」と記されていたという。
満重は天女の言葉に従い、この古城山に城を築いた。こうして築かれた延沢城は、敵が近付くと霧が立ち込め姿を隠したため、霧山城とも呼ばれるようになったとされる。この時うまれた子供は満延と名乗り、豪勇、剛力の士として有名をはせた。
延沢氏は、天童城主天童頼澄の与力衆「天童八楯」の旗頭として山形城主最上義光と長きにわたり争い、しばしば義光を破った。義光は延沢満延の剛力振りを試そうと、家中の力自慢の者を集めて待ち伏せさせたが、満延は飛びかかった男どもを即座に振り払った。驚いた義光は逃げようとして太さ2尺ほどの桜の木にしがみついたが、満延はなおも義光を引っ張ったため、両者がもみ合ううちに桜の木は根から引き抜かれて、義光ごと倒れてしまったという。
武勇に優れた満延に手を焼いた義光は、満延を調略するために、天正12年（1584）満延の息子光昌と娘のを娶わせ、満延を味方にした。これにより天童八楯は崩壊し、天童城は陥落した。
その後、光昌は、最上氏の小野寺、庄内進攻等で軍功をあげ、尾花沢盆地一円に2万石を領した。 しかし、元和8年（1622）、「最上騒動」により最上氏が改易になると、光昌は肥後加藤家に預けられ、延沢城は破却された。