高山紀齋は,嘉永3年(1850)12月12日,父・紀次,母・清子の長男として備前岡山に生まれ,幼名を彌太郎と称した。高山紀次は文政3年(1820)2月15日生まれ,岡山藩の支藩である福山藩の武士・鈴木平六の次男として生まれたが,後に高山丑右衛門の養子となり,高山家を継いでいる。鈴木家は,藩の老臣である日置帯刀(後に男爵)の家臣を勤める下級武士であった。紀次は長寿を全うして大正2年(1913)10月12日に94歳で他界している。また,母・清子の家系,生年月日については不明であるが,墓碑によれば,明治39年(1906)8月20日に没したことがわかる。
 岡山藩は31万石,寛永9年(1632)に鳥取在城の池田光政が入封して以来,江戸時代を代表する外様大名の雄藩のひとつである。文武両道を重んじ,また進取の精神にも富み,しかも質実剛健を好む気風は,藩風として培われていたものである。
 彌太郎も文武両道に優れ,叔父の磯田軍次兵衛(岡山藩直臣)からは儒学を学んだ。磯田軍次兵衛は藩主・池田侯の養育係主任を勤めていたという。また,阿部宇源次について真影流の剣術を修め,渡辺儀兵衛について甲州流の兵学を学んでいる。さらに,オランダ流の洋方兵法をも学んでおり,高山紀齋の質実剛健の気性は,このあたりから身についたものと思われる。遺品中には「剣術百首」と題する巻軸もあり,この事実をうかがわせる。
 紀齋は岡山で青少年期を過ごしているが,この時期は同時に政治,外交とも内憂外患の時代であった。すなわち,江戸幕府はすでに崩壊の危機にあり,諸雄藩は今後の政治的選択を迫られていたのである。幕末の慶応4年,血気さかんな18歳の青年・高山紀齋は,幕府の長州征伐,いわゆる長州戦争に藩兵のひとりとして参加,摂州西宮に出陣して,京都守護の任にあたった。また,倒幕軍に参加した紀齋は,やはり旧幕臣を中心に2月に結成された彰義隊と,5月15日,上野の山で戦っている。意気あがる紀齋は,さらに遠く東征を果 たし,白河,二本松,会津若松へと転戦して,数々の武功をあげている。
 若き紀齋の武勲は,幼少時より学んだ剣術,兵学の修業に基づくものであろうが,こうした時代背景があってのものである。このように高山紀齋は,幕末維新期に倒幕に奔走し,明治新政府の成立に一役かった志士のひとりでもあった。