明治23年1月,自宅に隣接する芝区伊皿子町70番地の元スペイン公使館の跡地(約1,015坪)に,本学の前身である高山歯科医学院を創設した。高輪台に続くこの地は,眼下に芝浦,品川の海を見おろし,遠くには房総の山々を望む景勝の地である。その頃,通 学には多少不便なものの,学校開設には格好の自然環境であった。  現在の学則にあたる「高山歯科医学院規則」(明治25年5月改定)には,総則第1条に次のようにある。
 “本院ハ欧米歯科諸大学中最モ高尚適實ナル科目ニ倣ヒ本邦歯科ノ程度ヲ斟酌シ必須ノ  学術ヲ教授シ且之ヲ實地ニ練修セシメ高尚ナル歯科医ヲ養成スル所トス”  紀齋は米国流の歯科に範を求め,最高の歯科医術を実地に練修する場として学院を設立した。学術科目としては,歯科解剖学,歯科生理学,歯科病理学,理学,化学,薬物学,歯科器械学,歯科治術外科学,そして実地練修が設けられており,単なる職人的技術者としての歯科医ではなく,まさに“高尚なる歯科医”の養成を目標にしている。このことは,学業はもとより,特に“品行端正なること”,“身体強健なること”を入学志願者に求めていることからも明らかである。
 学院には教室,器械室,治療室のほかに,地方出身者への便宜を図るため,敷地内に寄宿舎が設けられていた。ただし,開校当初の教員は6名,生徒は9名にすぎなかったという。また,治療室は2つに分けられ,ひとつは一般 の外来患者用で,紀齋の実弟・瓜生源太郎が担当した。もうひとつは慈善的なもの,あるいは生徒の技術鍛練の稽古場として使用され,藤島太麻夫と紀齋が担当している。
 さらに,実際に通学できない遠近の独習者のために『高山歯科医学院講義録』の刊行を企てている。その広告には次のようにある。  “講義録ハー冊ノ紙数百五拾頁内外ニシテー冊実価金五拾銭ナリ,何時ニテモ金員送付  アレハ初号ヨリ取揃へ送本スヘシ,但質議ヲナシ答案ヲ附スルノ権利ヲ得ント欲セハ束  脩金五拾銭ヲ仕払フヲ要ス,渾テ金員ハ東京市芝区伊皿子町七十番地高山歯科医学院宛  ニテ内国通運会社金銭送達便ニ托スルカ又ハ東京市芝三田郵便局払渡ノ為替券ヲ以テ送  付アルヘシ,尚詳細ノ規則ヲ知ラント欲セハ弐銭郵券送付アリ次第規則書ヲ呈スヘシ”  ここで注目すべきは,単に講義録を送付するだけでなく,束脩金50銭で“質議ヲナシ答案ヲ附スルノ権利”を得ることができること,すなわち通 信教育システムを導入したことである。こうした方策が実施できた背景には郵便制度の急速な発達がある。『高山歯科医学院講義録』は全24巻に及び,紀齋の門下生を総動員して著述・校訂し,明治25年にいちおうの完成をみている。そして,これを教科書として歯科医学を修めた院外生は250余名に及んだという。
 このように,紀齋は科学的な知識と技術を併せもった歯科医の養成を急務と考え,私財を投じただけでなく,米国での豊かな経験を生かし,また創意工夫をこらして学院経営にあたっている。しかし,それはけっして容易ではなかった。とりあえずは,より多くの開業試験合格者の輩出が経営にプラスになることは明らかであり,紀齋は講師陣の充実に意を注いでいる。紀齋の初期の門下生としては,すでに同郷の和田 忠,榎本積―などが医術開業歯科試験に合格して学院の講師を務めていた。開院後1年目の明治24年には4人の合格者を出し,カリフォルニア大学歯科部で学位 を取得した片山敦彦が,2度目の米国留学から同年5月に帰国している。最新の知識と技術を修得した片山は,歯科器械学を中心に教鞭をとり,学院の教育内容はいちだんと充実したものとなった。
 また,生徒に知的刺激を与え,同時に学院の存在を世に知らしめるため,紀齋は懸賞問題を出すなどの工夫をしている。この頃の紀齋は,まさに精力旺盛,日々臨床家,教育者として精励していた。そして明治26年4月,慶応義塾の出身で,後に後継者となる血脇守之助を一生徒として迎えている。