茶右衛門館は、別名森山館といい、青森県深浦町の千畳敷から奇岩が続く、深浦海岸の南端近くの森山崎に築かれている。
館は、戦時の際に使われる根小屋式の単郭である。南側と北側は急崖で守られ、周囲には深く切った堀切が見られる。丘陵東側には森山東館と呼ばれた主郭が存在していたとされ、東館は平時の居館だったと思われる。
天文年間（1532～55）には、館主として森山飛騨守季定の名が見られる。季定は桧山安東氏の庶流で、安東氏の北辺の守りとしてこの館にあったと考えられる。しかし、天文15年（1546）、桧山安東氏の安東尋季に造反し館に籠もり抗戦したが、尋季は正面から、搦手からはアイヌ兵を率いた増援軍の蠣崎季広から攻められ、館は落城、季定は自決した。
その後、この地には大浦氏が勃興し、大浦為信の支配するところとなった。為信は、家臣で水軍方の小野茶右衛門という剛勇を謳われた武将を、秋田方面に対する押さえとして配した。
この地の南側の敵対勢力の安東氏は、古くから安東水軍を率い、蝦夷地との貿易を盛んに行っていた。小野茶右衛門はこの地にあり、沖を通る安東氏の交易船を盛んに襲ったことは容易に推測できる。
大浦為信は、津軽地方を統一し南部氏から独立し、津軽氏を名乗り、関ヶ原の戦いでは次男の信牧を東軍とし、徳川幕藩体制で家名を維持することができた。津軽為信没後、二代藩主は次男の信牧が継いだが、長男信建の子の熊千代を押すものとの間に跡目争いが生じ、小野茶右衛門は熊千代方とし反旗を翻した。
津軽信牧は、「鬼勘解由」と呼ばれた笹森勘解由を討伐に差向けた。しかし館の防備は固く、勘解由は持久戦に持込み水の手を絶ち、その結果、館は落ち、小野茶右衛門も討たれた。
この落城の際に、茶右衛門の娘の千鶴姫と、姫と恋仲だった五島久三という若者が、落城の際に来世を誓い心中したといい、その場所は「姫岩」と名付けられ、村人に語り継がれた。後に、岩近くのトンネル開削時には多数のかんざしが発見されたと云う。
館の南西には岩礁に囲まれた入り江があり、その中に、「ガンガラ穴」と呼ばれる海蝕洞がぽっかりと空いた特徴的な岩山があり、洞穴は奥行き約50m、水面からの高さ10mほどで、コウモリが群れをなして生息している。この洞穴は、昔は海賊の船の隠し場所だったと伝えられている。