留守氏は頼朝の奥州征伐後、陸奥国留守職に任命された伊沢左近将監家景を祖としている。家景は、藤原氏摂関政治の全盛時代を現出した藤原道長の兄にあたる。
家景は『吾妻鑑』によれば、文治３年（1187）、「右近将監家景、昨日京都より参着す。文筆に携わる者なり」とみえ、公家あるいは文官型の人物であったようだ。文官として頼朝に仕え、大河兼任の乱後、陸奥国留守職に任ぜられて多賀国府に来住し、勢力基盤を築き上げた。
家景が就任した留守職は主として民政・財政を担当した役職で、陸奥の国内新地頭らへの国務上の命令権を有する重要な地位であり、家景は多賀国府の在庁官人らを指揮命令し、留守職が家景の子孫に世襲されるに及び、その指揮下にある在庁官人らとの間に主従関係が結ばれるようになった。
地頭らは、留守職にある家景の下知に従って国事を勤め、もしこれに従わないときは、頼朝の命を受けて留守職が処分することができた。この意味においては、留守職にある家景は一般の地頭御家人より上位の存在であり、葛西清重とともに奥州総奉行と呼ばれた。
留守氏は陸奥国留守職として、陸奥一宮である塩竈神社の奉幣祭祀を勤めていた。留守氏は塩竈神社の神主職となり、神社の神事勤行にまで強い支配力を有した。そして、社領の少なからぬ部分が留守氏の有するところとなり、社官たちは「宮侍」として留守氏の家臣として掌握されるようになり、留守氏は勢力を拡大していった。
留守氏は、三代家広まで留守職としての権限を持っていたようだが、次第にその機能を失い、一介の地頭に成り下がったようである。
南北朝時代には、留守氏七代の美作守家高は、顕家軍に属して津軽や白河方面に転戦し勲功を挙げたが、延元元年（1336）頃には北朝方に転じたようだ。
八代家次の代には、「観応の擾乱」の余波から、正平６年（1351）畠山高国と吉良貞家の奥州二探題が争う「岩切城の合戦」が起こった。合戦は吉良氏の大勝で、「負け大将」の畠山氏に味方した留守家次は討たれ、一族ともどもほぼ全滅という悲運に見舞われ、留守氏は衰退した。
しかしその後、翌年には足利尊氏から所領を安堵されて勢いを盛り返し、高森城に拠った。しかしその後、家明の代に、ふたたび吉良・畠山氏の抗争に巻き込まれ、長世保に出陣したが敗れてのちは大崎氏の支配下に入った。
十二代詮家は、一族の騒動に巻き込まれ、大崎氏から切腹を命じられ、そして、そのあとを継いだ持家のときには、家督相続の争いが起こった。持家派は伊達氏を頼り、大崎派と三年間にわたって抗争が続いた。結局、持家が勝って相続をしたが、以後、伊達氏の干渉を受けることが多くなり、文明年間（1469～86）に伊達持宗の子郡宗が十四代を相続し、留守氏は完全に伊達氏の影響下に入った。
戦国時代の初期には、室町幕府の権威は衰え群雄が割拠して互いに領土拡大のための戦に明け暮れるようになっていた。奥州では管領職にあった大崎氏の力が衰え、南奥の伊達氏が勢力を拡大していた。留守氏は、伊達氏からの入嗣によって伊達氏の勢力下に入り、伊達氏の勢力を背景に近隣諸領主と争うようになった。
特に留守氏にとって、宿命的なライバルは国分氏だった。留守氏と国分氏は「岩切の合戦」で対立して以来、互いに仇敵視し、しばしば武力衝突があった。しかし、次第に伊達氏の力を背景とする留守氏の攻勢が目立つようになり、国分氏と武力衝突するようになり、両者の抗争は激しくなり、天文５・６年（1536～37）にはついに合戦となった。
大永３年（1523）、伊達稙宗が「陸奥守護職」に補せられた。そして、稙宗は陸奥守護職として国分氏と留守氏の抗争に干渉した。しかし、両者の抗争は、その後もしばしば繰り返され、それぞれ規模と実力が伯仲していたことから決定的な勝敗はなく、それぞれが同格の領主として伊達氏の傘下に属するまで抗争は続いた。
天文５年（1536）、大崎氏に内訌が起った。大崎義直は伊達稙宗に支援を頼んだため、稙宗は三千余騎を率いて大崎平野に向かった。このとき、牧野・浜田ら伊達氏の有力家臣をはじめ、黒川景氏・武石宗隆・長江宗武、そして、留守景宗と国分宗綱も稙宗に従軍し、大崎の乱は平定された。このころには、留守氏らの奥州諸氏は今や伊達氏の麾下にあったことがうかがわれる。
天文１１年（1542）、伊達稙宗と晴宗の父子が抗争した「天文の大乱」に際しては留守景宗は晴宗方に属し、稙宗方に加担した国分氏を攻撃している。天文１７年（1548）、稙宗・晴宗父子の和睦によって乱は終熄し、伊達氏の家督は晴宗が正式に継承した。以後、乱に活躍した景宗は晴宗との間に緊密な関係を結び、これを背景として大名化の道を進むことになる。
しかしその後の留守氏には家督相続問題が生じ、伊達晴宗の三男政景を養子に迎えようとする伊達派勢力と反伊達派勢力とが留守家中は二派に分れて争うことになった。結局、政景の家督入嗣が決定し、内紛は一応の幕をひいた。時に政景は、若冠十九歳の若武者であった。
永禄２年（1559）、反伊達派の村岡氏は村岡城にたてこもり政景に対し反旗をあげたが敗れ、村岡氏は滅亡、その後も、叛意を示す者があらわれたが、それぞれ追放処分にして争乱をおさめた。その後の天正２年（1574）、政景は米沢城下を訪れ兄輝宗の麾下に属した。以後、伊達氏と留守氏は緊密な関係のもとに周囲の情勢に対処することになった。
政宗の代になると、政景は伊達家の重臣として若い政宗を補佐した。天正１３年には仙道人取橋の合戦、天正１６年（1588）には大崎合戦、天正１７年の相馬攻めと重要な戦いの多くに参戦し、若い伊達政宗を支えた。
豊臣秀吉の小田原征伐が開始され、その去就を定かにしていなかった政宗だったが、ここに至り、結局小田原に参じた。小田原落城後の奥州仕置により政宗は会津などを没収されたが、このとき、留守氏、国分氏らは政宗の家中とみなされ、独立した大名とは認められなかった。
慶長５年（1600）関ヶ原の合戦のときには、直江兼続の攻撃を受けた最上義光の応援依頼を受けて、政景は政宗の命を受けて馬上500余騎・鉄砲700挺を第一陣として率い、笹谷峠に至り、伊達勢が最上氏に加勢したことが敵陣に分かるように笹谷峠に旗指物を立て並べた。関ヶ原の戦いに徳川家康が勝利したことが伝えられると、政景勢は、一斉に直江軍を攻撃し、長岡山と戸上山の間で激戦の末、ついに直江軍を破り数百人を討ち取る勝利を得た。
政景は居城を転々と移されたが、政宗の信頼は極めて厚く、元和年間（1615～23）に一ノ関城主となり二万石を治めて余生を送った。子孫は伊達一門・水沢伊達氏として続いた。
留守氏は、当初は塩釜多賀城周辺を支配していたが、鎌倉開府以来の長期の間、さらには南北朝期の混乱の中で、留守氏初代の伊沢家景の廟所や、当初の居館の位置などは歴史の中に埋もれてしまっていた。
それが、初期の居館があったとされる、多賀城跡の北側の、利府町加瀬の地の農家のわら叩き台が伊沢家景の墓碑であることが文政２年（1819）に確認された。ちょうどこの年は、伊沢家景の600年忌でもあり、子孫にあたる当時の水沢領主の留守村福（むらやす）が墓石を立て直した。
石碑の左右には一対の灯篭を配し、高さ1.8m、幅0.8mで、中央に「元祖加瀬寺殿故従四位左近将監瑞山雲公大居士」、右に「承久三年辛巳」、左に「十一月十三日」とある。