和賀氏は、伝承によれば、源頼朝が伊豆に配流中に生まれた頼朝の子の忠頼が祖であり、母親は頼朝の監視役だった伊東祐親の娘だとされる。資料も著しく少ない中、時代背景を中心に検証してみる。
岩手県和賀地方の伝承によれば、源頼朝は頼朝の監視役だった伊藤祐親の娘と懇ろになり、娘は男の子千鶴丸を生んだ。この子は密かに育てられたが、３歳の時、祐親の知るところとなり、祐親は平氏を恐れて、家臣の斎藤兄弟にこの子を近くを流れる川の淵に沈めるように命じた。
静岡県伊東市に残る伝承では、千鶴丸は松川の稚児ヶ淵に沈められたと伝えられるが、可愛い盛りの３歳児を簡単に殺せるだろうか。憎き敵の大将の子供とか、生まれて間もない目も空いていない嬰児とか、まるで見ず知らずの気持ちの通い合いもまるでない幼児とかだったら心を鬼にして殺すことができるかもしれない。しかしこの場合は殺すことを命じられた斎藤兄弟は、伊藤祐親の郎党であり、千鶴丸やその母親とはよく見知った仲であったと推測できる。
また。時代状況的には、平家方への不満が高まっている時期で、以仁王の令旨が出たり、伊豆でも頼朝の決起が取りざたされていたような時期で、時代は流動化の兆候を見せており、場合によっては大どんでん返しがあるかもしれない状況だった。そのような中で、伊藤祐親家臣の斎藤兄弟は、千鶴丸を殺さずに匿ったと推測する。兄弟は、千鶴丸を春若丸と名を変えて相模国曽我に匿い育てたとされる。
その後、頼朝は伊豆を脱出して平家を滅ぼし、鎌倉幕府を開いた。建久８年（1197）夏、頼朝が信州善光寺を参詣した際に、斎藤兄弟は春若丸を伴い頼朝のもとへ赴き、頼朝と対面した。死んだと思っていた我が子との対面を喜び、名を多田式部大輔忠頼とし、奥州の和賀郡に封じた。
多田忠頼は翌年の建久９年（1198）、名を変えた八重樫実憲（斎藤兄）、小原実秀（斎藤弟）とともに奥州に向かった。ところがこの年はことの外の大雪で、北へ進むことはかなわず、一行は奥州刈田宮の苅田平右衛門宅で年を越した。刈田宮では平右衛門の娘が忠頼の世話をしており、その間に忠頼の子を宿した。ところが、忠頼は、翌正治元年（1199）痘瘡で死去した。
家臣の八重樫実憲は鎌倉でこのいきさつを頼朝に言上し、生まれた忠頼の子は刈田平右衛門が養育し、この男子が１５歳のとき、忠明と改名して、建歴２年（1212）に奥州和賀郡へ下向し、その後、二子に城を建て、和賀氏となった。また平右衛門の子孫は小田嶋氏・本堂氏となった。
和賀氏の出自を巡る説はいくつかあり、ここでの説のほかに、和賀氏の祖は、本姓平氏の小田嶋氏とし、武蔵七党のうちの横山党中条氏の流れとするものもある。おそらくこれは、頼朝の子の忠頼の子を産み和賀氏一族になった小田嶋氏のもので、時代状況により使い分けしたのかもしれない。
いずれにしろ、和賀氏は、八重樫氏、小原氏らの家臣を従えて和賀郡に下向し、二子城を拠点とし土着した。鎌倉期・南北朝期・室町初期にかけて、毒沢氏・春山氏・成島氏・関口氏らが分派し、戦国期に向かっていくことになる。
二子城は、別名飛勢（とばせ）城ともいい、和賀氏の本城で、その全体規模は、南北約1000メートル、東西約500メートルに及び、中世和賀郡における最大規模の城館である。
二子という名は遠方より望んだ時、三角形の小山が二つ並んで見える事により付いたとされる。この二つの山の内の西側には秋葉神社が祀られており物見台だったとされ、東側の八幡神社が祀られている地に主郭があった。
城の北側は北上川に面し、中央部から西側は段丘崖および丘陵である。東側は沖積地で、「宿」と呼ばれる城下集落が形成されていた。また、北上川に面して、城主の日常生活の場である白鳥館を置き、周辺には家臣団の屋敷が配されていたとみられる。
二子城の中心部の八幡神社境内は、比高約70mあり、南北約100m、東西約70mで、西側に空堀が配され、東側には数段の腰郭が巡る。大手門跡はこの東西の二つの山の谷の南側で「大手門跡」の石碑が建っている。
城の中央を、和小路と呼ばれる南北に伸びた通路があり、両脇には侍屋敷が続いていた。また北側には搦手門が位置し、家臣屋敷が配されていた。