さて,郷里の岡山で英学の初歩をすでに習得し,英学教授補を務めたほどの紀齋にとっては,上記のような英学修業の課程から察すると,多少もの足りないものがあったと思われる。英学については,紀齋はすでに“中等の人物”以上の学識をそなえており,上京はそれ以上の語学力と知識を身につけたいという意図があってのことである。紀齋の目標と将来への野心は,まず英学を修め,これを駆使して新しい職業を開拓することにあった。しかし,当時の義塾は新しい教育方針の実践の緒についたばかりであった。
 初学者向きの素読学習に満足できなかった紀齋は,並行して米国人宣教師カロザス(Christopher Carrothers)につき,さらに実践的な英学を学ぶことになる。カロザスはオハイオ州の出身で,1867年にシカゴ大学(01d University of Chicago)を卒業,2年後の明治2年6月に米国の長老派教会の宣教師のひとりとして,夫人とともに横浜に来航している。8月には東京に移り,築地の外国人居留地である明石町A6番屋敷に住み,ここを伝道の拠点とした。また,同時に私塾を開いて英学教授にあたりながら,いわゆる築地バンドを興している。紀齋は,カロザスの開塾当初の門人ということになる。なお,カロザス夫人も同じ敷地内に学校を開いている。これは近代女子教育の先駆けともいえる学校で,現在の名門女子校・女子学院のルーツのひとつである。  カロザスは剛直,熱誠,頑健というタイプで,質実堅固な精神をモットーとする長老主義のなかにあっては特異な存在であった。また,性格的にも野卑で武骨なところがあったという。しかし,若き紀齋は,そんなところにも多くを学んだものと思われる。
 明治5年6月,カロザスは慶応義塾の英語教師として雇い入れられている。慶応義塾が東京府に提出した「私学明細帳」によれば,カロザスはこのとき32歳,担当教科は“英文学科学”とある。1カ月の給料は125円で,当時としては破格である。なお,この雇用は華族の太田資美による経済的援助によって実現したという。雇用契約は期間がたびたび延長され,結局は,慶応義塾で翌6年7月末まで教鞭をとった。
 カロザスは教師として英語を教授しただけでなく,時には塾生にキリスト教の何たるかを説いたという。また,福沢らに対しても語学を重視する教育の必要性を説き,塾のカリキュラム編成にも多大な影響を与えている。塾生のなかには,カロザスから賛美歌を習い,聖書をわけてもらう者もあったという。紀齋もこうした塾生のひとりであった。
 ところで当時,維新のため禄を失った下級武士の多くは,新政府に出仕するか,あるいは自ら民業を企てようと試みている。彼らにとって,実用の学としての西欧文明の吸収は急務であり,生きる手段でもあった。こうした意気込みは学問に限らず,政治,経済,法律制度など,あらゆる分野にわたって同様であろう。なかでも英語の習得は不可欠のものであった。まさに,手段としての英語が優遇,尊重された時代であり,紀齋の慶応義塾での主要な学習目標も,この点にあったと思われる。
 カロザスによって,より実用的な英会話の修業をつんだ紀齋は,その語学力を武器として新たな実学を修得すべく,私費による渡米を企てている。紀齋の海外留学は,当初は岡山藩の将来の命運を担う英俊の派遣として計画されていた。しかし,明治政府は各藩からの海外留学を制限する方策に転換し,この方途は不可能となっている。私費留学を余儀なくされた紀齋に対し,おそらくカロザスからも米国留学について適切なアドバイスがあったものと思われる。