阿曽沼氏は、ムカデ退治で有名な、藤原秀郷の流れで、足利七郎有綱の四男広綱が下野国安蘇郡阿曽沼郷に居住して、阿曽沼氏を称したのがはじまりとされる。文治５年（1189）、源頼朝の奥州征伐に従軍して功があり、閉伊郡遠野保を与えられたという。
当初は遠野には代官を送り、下野の本領にいたようだが、南北朝期には、「遠野保地頭職」「江刺郡内角懸半分地頭職」などの記録が見られ、このころ、本格的に遠野に下向したと考えられる。しかし以降、下野における本家の足跡は次第に不明となる。
南北朝争乱の後、南朝方が衰退し北朝と合一するに及び、奥州では南朝方に与していた八戸南部氏にかわり、三戸南部氏が抬頭し、陸奥北部の優勢な大名となっていた。中でも、南部氏十三代・守行は、三戸南部の知謀の将で、応永１６年（1409）には陸奥守を賜っている。
この時期、四方の情勢は、南方志和郡には、高水寺城に足利氏一族の斯波氏が来往し、公方一族をもって志和御所と称し、その隣接地には、従来のごとく稗貫氏・和賀氏が存在していた。岩手郡には厨川工藤氏、滴石戸沢氏、閉伊郡には宮古の閉伊氏、遠野の阿曽沼氏がいるが、陸奥守の権威の前に、殆ど南部氏の被官的存在であった。
永享９年（1437）、大槌孫三郎は、気仙の岳波太郎、唐鍬崎四郎兄弟とともに遠野阿曽沼氏の横田城を攻撃した。この時期、阿曽沼氏内部には大槌氏と嫡流を巡る争いがあったようで、岳波氏と唐鍬崎氏は、葛西氏や大槌氏を巻き込み、気仙沼地方での勢力拡大を狙ったのかもしれない。このとき、阿曽沼氏の家臣達は中立の姿勢をとったため、阿曽沼氏は三戸南部氏に救援を求めた。
南部守行は、自ずからも出陣し阿曽沼氏を救援し、大槌気仙連合軍を撃退した。南部守行は、まだ支配力が十分でない岩手郡以南にも、陸奥守として勢力を強固なものとしようと考えたのだろう。南部阿曽沼軍は、横田城を攻める大槌気仙連合軍を撃退、逆に大槌城を攻め立てた。大槌城に籠った大槌氏は、その天然の要害を生かして善戦した。この戦いで、大物見に出た南部守行が流れ矢に当り戦死してしまった。このため両軍ともに兵を退き、結局、大槌氏が謝罪する形で和睦が成立した。
戦国期、阿曽沼広郷のころには、支配領域は遠野保の領域を越えて閉伊郡海岸部まで拡大していた。また広郷は、遠野という僻遠の地にありながら天正７年（1579）、使者を京都に送り、織田信長に白鷹を贈っており、天下の形勢に通じていたようだ。
しかし、豊臣秀吉に対しては、「秀吉公の素性卑しきを軽んじ、永く天下の武将になるべからず」とし帰服せず、天正１８年（1590）の小田原の陣に参陣することはなかった。このため、葛西氏や大崎氏らと同様に、阿曽沼氏も、領地没収となるところであったが、九戸の乱に参陣したときの総大将だった蒲生氏郷らの尽力により、南部氏の付庸となることで辛うじて領地を全うすることができ、とりあえず危機は脱した。
この地には諏訪神社があり、阿曽沼氏の祖先が、諏訪大社の霊夢で諏訪湖の大蛇を退治するようにお告げがあり、その霊夢に従い大蛇を退治し、神剣を授かった。この地には、この神剣を紛失したり、猿ヶ石川の水が赤変すると、それは阿曽沼家に不吉なことがある前兆とされ、この神剣を代々伝えた。
阿曽沼氏は、天正年間（1573～92）に本拠城を鍋倉山に移す時、猿ヶ石川の水が赤くにごり、神剣も紛失したことから、重臣たちはその移城にはことごとく反対したが移城は強行された。このためか、間もなく家運は傾き、阿曽沼氏には最大の危機が訪れる。