五代将軍徳川綱吉の時代の元禄年間、時代は、それまでの戦国の殺伐とした気風が残る武断政治の時代は終わり、文治政治の時代へと移っていった。幕府の中枢でも、それまでの「武」の政治から、新井白石や林羅山らの、儒学者や学者が重きを成すような「文」の治世になっていった。綱吉は、儒学にはことのほか造詣が深く、学問の中心地として湯島に大聖堂を建立し、学問を重んじた。
仙台藩においても、名君と詠われた四代藩主伊達綱村、五代藩主の吉村は、儒学を中心とした学問に造詣が深く、田辺希賢（たなべまれかた）ら多くの儒者も藩政を支えていた。綱村は延宝３年（1675）に学問の中心として「記録所」と「聖堂」を建設し、学問の気風は仙台領内にたかまり、元禄３年（1690）には岩出山に有備館が建設された。
このような気風の中で、仙台領の現在の岩手県一関市大東町に農民の子として生まれた芦東山（あしとうざん）は、幼少より学問の手ほどきを受けて優れた才能を発揮し、１５歳で仙台藩の儒者の田辺希賢（たなべまれかた）の門弟になり、１９歳で仙台藩主伊達吉村に御前講義を行い、京都、江戸で遊学し、その後藩儒としてよく勤めた。
東山は、本格的な学問所の必要性を建言したが、その中での、学問所には身分の隔てはないとする東山の考えは、封建制の社会では早すぎる内容で、危険思想とみなされ、元文３年（1738）、４３歳の折に蟄居を命じられた。しかし２４年間の幽閉生活の中で、「目には目を、歯には歯を」といった応報刑が当たり前であった時代に、教育刑を盛り込んだ、日本最初の刑法の「無刑録」をあらわした。その後の身分を超越した養賢堂の教育を考えるとき、この農民出身の芦東山の、既成概念にとらわれない自由な考えが反映されているように思われる。
芦東山の意見書は受け入れられなかったが、享保２０年（1735）、高橋玉斎の意見書が採用され、翌年に学問所が設置された。そして六代藩主伊達重村の時の宝暦１０年（1760）に、現在の宮城県庁付近に学問所を移し、明和９年（1772）からは、学問所を養賢堂と称するようになった。
この養賢堂の初期の時代に、仙台藩に林子平があらわれた。林子平は、寛政の三奇人と呼ばれ、『三国通覧図説』『海国兵談』などの著作を著した。子平の姉が、六代仙台藩主伊達宗村の側室に上がった縁で、兄とともに仙台藩の禄を受けていたが、その後禄を返上し、全国を遊学し、大槻玄沢、宇田川玄随（げんすい）、桂川甫周（ほしゅう）、工藤平助らと交友、広く世界を見るようになっていった。明和２年（1765）、子平は藩校改革のひとつとして数学の講座を作り、養賢堂では、儒学だけではなく、数学、暦学、天文学なども教えられるようになった。これにより、養賢堂における教育は、儒学だけではない、広い視野からの教育が行われるようになったものと考えられる。
子平は、当時日本近海にはロシア船が出没していたことから、『海国兵談』などで海防の必要性を説いた。しかし、当時の老中松平定信の寛政の改革がはじまると、政治への口出しを嫌う幕府に危険人物として目を付けられ、『三国通覧図説』『海国兵談』は共に発禁処分となり、蟄居を申し渡された。蟄居が解かれることはなかったようだが、仙台領内での行動は比較的自由だったようで、その広い教養は、養賢堂にも大きな影響を与えたと考えられる。蟄居中、「親も無し 妻無し子無し版木無し 金も無けれど死にたくも無し」と嘆き、自ら六無斎と号したと伝えられる。
養賢堂には、早くから医学の講座も設けられていたようだ。文化１４年（1817）頃には、養賢堂から仙台藩医学校が分離設置され、文政５年（1822）に仙台藩学校蘭科が開設され、わが国初の西洋医学講座が実施された。これは、仙台藩一関出身の蘭学者、大槻玄沢が大きく関わっていたであろうことは容易に推測できる。
大槻玄沢は、『解体新書』の翻訳で有名な、杉田玄白、前野良沢に師事し、師である二人から一文字ずつもらい「玄沢」と名乗ったと云う。早くから医学、語学にその才能を示し、杉田玄白の私塾に学び、天明８年（1788）、蘭学の入門書『蘭学階梯』をあらわした。江戸に、私塾芝蘭堂（しらんどう）をひらき、多くの人材育成に当たり、ロシアへ漂流した大黒屋光太夫とも交友があったと云う。芝蘭堂では４４年間にわたり、オランダ正月として名高い新元会が行われ、多くの蘭学者らが集い、江戸における蘭学学習の一大中心地としてあり続けた。また、仙台藩石巻の漂流民が、通商を求めるロシア船で長崎に送り返された折には、玄沢は藩命によりこれを事情聴取し、これを『環海異聞』としてまとめ、その後の仙台藩の外交の基礎資料とした。
このような、儒教教育だけにとどまらない仙台藩の開明的な教育は、その後も幕末にかけて、次々と、高野長英や大槻俊斉という時代のさきがけを輩出していくことになる。高野長英は、仙台領水沢に生まれ、武士の身分や仙台藩といった枠さえ飛び越え、シーボルトの鳴滝塾に学び、抜きん出た学力でその塾頭をつとめた。武士の身分を捨てて、江戸に蘭学塾を開き、「戊戌（つちのえ）夢物語」をあらわし、外国船打払令など幕政を批判し捕らえられた。牢内では劣悪な牢内環境の改善などを訴え、牢名主として他の囚人の尊敬を集め、その内の一人の仙台領の侠客の手引きで脱獄し、逃亡中も伊予宇和島藩に庇護され、兵備の洋式化を行うなど、その才能を発揮したがついに捕らえられ、自害した。
大槻俊斉は、現在の東松島市赤井に生まれ、１８歳のときに江戸、長崎で刻苦勉励しオランダ医学を学んだ。その後江戸で開業し、安政４年（1858）に、神田お玉ヶ池に種痘所を構え、幕府直轄の漢方の「医学館」に対抗し、蘭方進出の拠点となった。この種痘の普及は日本に西洋医学を大きく広げることになり、幕府はこの種痘所を直轄とし、「医学所」と改称し、俊斉が初代の頭取となった。この医学所がその後の東京大学医学部の前身となる。
大槻玄沢以後、大槻氏からは優秀な学者が多く輩出し、「西の頼家、東の大槻家」と称されるようになり、玄沢の開明的な考えは、養賢堂の流れの中で、大槻平泉、大槻磐渓などに受け継がれていくことになる。
林子平の上書から50年余り後の文化７年（1810）、大槻平泉が四代学頭に任命され、学制の改革が行われた。まず平泉は、財政基盤の整備に力を注ぎ、新田開発高１万２千石を「学田」とし、その年貢収入を中心に学校運営費とするなど、独立採算制による学校運営を行った。中心施設となる大講堂の建築に着手し、養賢堂は建坪５６７坪、２５室を有する広大な教育施設となり、その後も順次、学寮、剣槍術所、聖廟など諸施設が整備され、国内でも有数の大規模な教育施設となった。