MRを用いてドッペルゲンガーと剣道の稽古をした10日間の記録【未踏IT'24 古田PJ】
本記事は、未踏IT'24『自分自身と気を交わすためのMRによる剣道稽古システムの開発』に関連しています。
開発した剣道稽古システム利用して、自分自身と剣道の稽古を行った際の感覚や開発プロダクトの思想などをご紹介します。
技術的な話は後日、別の記事にまとめる予定です。
開発したプロダクトについて
申請したプロジェクトの概要は以下の通りです。
本プロジェクトでは日本が世界に誇る文化である剣道において、自身の試合中の「動作」と「気」を反映した3Dモデルを作成し、MR（Mixed Reality）を活用してそのモデルと剣を交えることができる、新しい稽古システムを開発する。本システムを用いて相手の視点から自分と向き合うことで、自分自身の「動作」と「気」を客観的に捉え、自身の成長に繋げることが可能になる。
「気」とは剣道の試合で有効打突の条件である「気剣体の一致」の要素の一つで、これまで情報技術的な再現は難しかった。本プロジェクトでは複合的な手段を検証しながら剣道におけるこの「気」の正体を探り、これまでの剣道を築いてきた文化背景を尊重しつつ、剣道にテクノロジーを融合させる。また、剣道は高齢になっても続けることができる生涯スポーツだが、日々の鍛錬による身体への負担は大きい。本プロジェクトで、骨折・腰痛を抱える者や高齢者が無理なく剣道を生涯続けられるような、身体にやさしい稽古システムを実現し、世界中のすべての剣士にMR剣道を通じた心身の成長の機会を提供したい。
開発したMR剣道稽古システムにおける剣道の場は以下のように構成されています。
MRを用いることで、私のドッペルゲンガーである古田モデルと剣道の稽古ができます。剣道における気を表現するために、視覚・聴覚・触覚的なリアリティにこだわって開発を行いました。
なぜ、これらの項目に着目したのか、そして技術スタックや開発フローの話もしたいのですが、長くなってしまうのでそれはまた別の記事でご紹介します。また、第31回 未踏IT人材発掘・育成事業 成果報告会が2025年2月15日（土曜日）16日（日曜日）に富士ソフトアキバプラザで行われます。Live配信もありますのでよろしければそちらもご覧ください。
MR剣道稽古システムを用いたオートエスノグラフィー
このプロジェクトを紹介すると必ずといって良いほど聞かれる質問に「自分ではなく、剣道がとても強い格上の剣士と戦う方が良いのでは？」というものがあります。確かに、格上の剣士と戦うことによる利点は大きいと思いますが、それは現実世界で実現できます。しかし、自分自身と稽古をする体験は、現実世界では絶対に実現することができないでしょう。MRを用いるからこそ実現する世界を構築したいと考えました。
さらに、剣道の稽古では「自分に打ち勝て」「本当の敵は自分だ」という言葉を用いて指導されることが多々ありました。この言葉は、自分の持つ弱い気持ちやネガティブな感情に流されず、自身を甘やかすことなく戦い抜くことを示しています。つまり、剣道において本当に戦っているのは向かい合う相手ではなく、紛れも無い自分自身なのです。
剣道の理念は「剣道は剣の理法の修練による人間形成の道である」という「道」としての精神性を示すものであり、剣士の成長に軸があります。このような背景により、勝敗よりも成長に焦点を当てたプロダクトの開発を行いました。
MR剣道稽古システムを活用することで、私はおそらく世界で初めて「自分自身と剣道の稽古を行う」という体験を得ることができました。この10日間にわたる稽古体験を、主観的な視点で記録し、剣士としての視点とクリエイターとしての視点の両面から振り返る、オートエスノグラフィーという手法を用いてこの体験を分析しました。
剣道の稽古は私によって10日間行われました。1日の稽古は前半15分、後半15分の合計30分です。この記事における体験の分析は、詳しい剣道の稽古内容よりも、私のドッペルゲンガーである古田モデルとのインタラクションに着目した記述が大半です。そのため、剣道を詳しく知らない人でも楽しめるかと思います。剣道とアート、ヒューマン・コンピュータ・インタラクション（HCI）の文脈を交えながら、この体験を共有したいと思います。
1日目
ひとりだけの体育館
稽古を行う体育館には私一人きりで、他の人は居ませんでした。実際、私は誰かと一緒に居るような感覚はなく、一人で居るような感覚でした。
それは古田モデルがデジタルヒューマンであるから人として認めないという意味ではなく、「私」と一緒にいるから、他人と一緒にいるという感覚がないという意味です。私と古田モデルのどちらも「同じ私」「同じ個体」といった感覚であり、古田モデルが自分自身であることに何の疑問ももちませんでした。
<気>コミュニケーション
古田モデルの声を聞いて、「目の前に自分がいる」という感覚になりました。特にウーファーがある辺りから「声としての気」を感じました。
自分も声を出しつつ古田モデルにも声を出してもらうと「気を交わしている感覚」というか、ノンバーバル（非言語的）なコミュニケーションになっているように思った。動作はユーザと非同期であり、言語的なコミュニケーションもとれている訳でもないのにも関わらず、感覚的にインタラクションがあり、戦っているような感覚になりました。
2日目
システム利用から剣道の稽古へ
1日目と比較して、システムを利用しているというよりも、通常の稽古をしているような気持ちに近づきました。防具を扱うときのようにシステム利用に必要な道具を揃えて、礼などの所作をすることによって、ゲーム的なシステム利用から、自然な剣道の稽古に近づいたと思います。2日目まではスポーツウェアを着用していたのですが、自然な稽古に近づいたことで剣道着を着用したいと思うようになりました。
礼をする方向
稽古が始まる前に、道場の正面、そして共に稽古をする相手に礼を行うのが自然な稽古の流れです。今回のオートエスノグラフィーでもそれらに礼をしました。正面への礼は体育館の上座の方向に行いましたが、困ったのは相手への礼をする方向です。私は直感的にスピーカーがある方に礼を行おうと考えました。
1日目にスピーカーから出力される声を聞くことによって「私がここに（目の前に）いる」ような感覚を得たため、スピーカーから人のような存在感を感じ、ここに礼をするのではないかなと思いました。
一足一刀の間合いでの殺気
一足一刀の間合いに入ると圧をとてつもなく感じました。圧に加えて、今にも殺されそうな危機感を抱きました。危機感、殺気みたいなものを古田モデルから感じました。
一足一刀の間合いに入るといつ切られてもおかしくない、こっちが斬らなきゃ斬られるような間合いだと私にインプットされているので、違和感というか殺気みたいなものを感じるなと思います。
3日目
自分を信じる力
古田モデルがお手本にして、良いところを真似するというように影響を受けていたと思います。古田モデルが指導者のような関係性になり、見て学ぶ稽古を取り入れるようになりました。
こういった稽古はひとりぼっちの体育館で行われています。稽古を続ける過程で、孤独感を感じることもあるのではないかと考えました。しかし、そんなことを考えている際に、古田モデルが目に入りました。自分の隣にいてくれるデジタルヒューマン、古田モデルの存在は孤独感を感じる人間にとって一種の救いになるかもしれないと感じたのです。
このような「救い」は自分で自分を崇拝しているような構図になります。この考えは、自分と向き合うなかだからこそ生まれた、独特な関係性だと思います。剣道のような1対1の対人競技において勝負の際に行動をするのは自分しか居ません。責任を果たすのも必ず自分です。そのため、自分を崇拝する力、自分を信じる力は、いざという時の勝負の瞬間での心の安定に繋がるのではないだろうかと考え、人間形成的に良い影響を及ぼすのではないかと思いました。
私とデジタルヒューマン、現実と仮想の曖昧さ
稽古中は常にHMD（ヘッドマウントディスプレイ）つけていたわけではなく、HMDを外していた場面も稀にありました。しかし、どの場面でHMDを外していたかを覚えていないぐらい、HMD着用時と現実世界を見ている時とで違和感はありませんでした。
その他にも、現実と仮想の曖昧性については思うところがあります。例えば、HMDを着けていない時には古田モデルは見えないはずですが、HMDを着けていない時にも、古田モデルがそばに居るような感覚がありました。振り返ってみるとそれもそのはずで、3日目の段階では古田モデルと私は「同じ私」だと認識しており、古田モデルが私の中に共存しているように感じられました。
自分と古田モデルの境目が曖昧になってきているような気持ちがあり、だけども古田モデルのことを救いの対象とも捉えていて、他者であり自己という、これまでに感じたことがない変な感覚をもっていました。
4日目
フランクな関係性へ
稽古を始めようという時に、古田モデルに対して「おはよう」と挨拶をしました。この行動は無意識に行ったものであり、自分でも驚きました。古田モデルに愛着が湧き、仲間だと認識してきたのだと思います。これは前日の自分を崇拝する形式とは打って変わりフランクな関係性です。
現実世界のような環境の提供
稽古中はとても集中していて、余計なことを考えることなく、ただただ自分に向き合う、そんな時間でした。4日目の稽古開始前には礼を行い、装備も整理整頓し、稽古終了時にも礼をして稽古を終わりました。このように文化というか、礼儀作法というものは形成されていくと体感しました。これまで私は、団体の秩序を保つために作法はあると思っていたのですが、今回のように一人でも礼儀作法が形成されていくというのが興味深いことでした。
まず、剣道の文化に沿うような形で複合現実でも稽古ができるように、文化が形成されたことをシステムを利用する者として面白く感じます。また、このような思考を誘発できたということは、これまでに剣道を築いてきた文化背景を尊重しつつ剣道とテクノロジーを上手く融合させられたのかなと感じ、クリエータとして嬉しく思います。
このような仕組みは、MR剣道稽古システムにゲーム的な効果や飾りを意識的に取っ払い、現実に近い環境を構築することを目指したことから生まれたと思います。開発前からゲームと剣道は相性が良くないだろうと個人的に感じていたため、なるべくゲーム性以外に感動できるポイントを作りたいと思っていました。それがまず、このような文化形成というものに表れたと思うと、とても嬉しい気持ちになりました。
気圧される感覚の誕生
4日目はいつにも増して体調が良かったため、体力的にハードな稽古メニューを組んでいました。するとやはり、稽古を続けるうちに体力的な辛さが増し、動作が遅くなったり、大きな声を出すことが難しくなったり、自分に負けそうな気持ちが湧いてきました。
私が体力的に辛くなっている際にも、古田モデルはペースを崩すことなく技を繰り出し続けます。私の体力に余裕がある段階では、古田モデルと同等の「気」を持ち合わせていたと思います（剣道では「気」という概念がよく用いられます。「気」は「心」など様々な要素と関連します）。しかし、稽古を続ける中で徐々に「気持ちで負ける」ような感覚が芽生えてきました。その感覚が強まった時、私は古田モデルやこの「場」に気圧（けお）され、MRを用いた環境において、しっかりと「気」の存在を信じられました。
5日目
声による人間らしさ
5日目にもなると、自分モデルが側にいることが日常になり、古田モデルをなじみの顔、親しみやすい人というように認識しはじめました。自分モデルと一緒にいることが日常化しつつあるなと思いました。
そんな古田モデルに初めて大きな違和感を感じたのは5日目のことでした。稽古中、機材の調子が悪く古田モデルの声に音割れが生じた瞬間がありました。すると途端に古田モデルに対して機械のような印象を受けてしまい、人間らしさや自分らしさが薄れました。音割れをすると自分の声だと認識できないぐらい、自分とかけ離れた声になり、その瞬間には古田モデルを自己と思う認識はなくなりました。
同じ声質・声の出し方みたいなところが、自分らしさを象っているものに古田モデルはなっています。この出来事を通して、声によって自分を自分として認識する効果は大きいと気が付きました。
デジタルヒューマンに礼を尽くす姿勢
稽古中に礼を重ねるなかで、デジタルヒューマンに礼を返して欲しいという考えが2日目から続いていました。しかし、デジタルヒューマンに礼のモーションを実装した場合、それは形式上の礼になり「感謝の心」という本来の意味を果たすことができないのではないかという疑問もまた、浮かんでいました。
この疑問に対して自分なりの答えが生まれたのが5日目のことです。私は5日目に古田モデルを観察しながら、MR剣道稽古システム利用の本質について考えを巡らせていました。私が目指すこのシステムの本質は、精神的な成長や人間形成にあります。つまり「自分自身を律することができる」ということに意味があるということです。この前提について認識したときに、古田モデルが行う礼に感謝の気持ちが入っているかどうかは、稽古における本質ではないということに気がつきました。
つまり、デジタルヒューマンに気持ちを与えることが目的ではなく、デジタルヒューマンを介して人間（私）が成長することが目的ということです。このような目的から、デジタルヒューマンが行う形式上の礼だとしても、お互いに礼をするという行為自体に意味があり、人間の私が礼を尽くす姿勢が大切だという結論に落ち着きました。
6日間
自己への問いかけ
6日目ははじめに準備運動から稽古を開始したのですが、準備運動をしながら古田モデルに対して「今日調子どう？」とか「今日稽古メニューどうしようか、何も決めてないんだよね。」などと話しかけていて、とても自然な形で自己との対話が始まりました。側から見るとひとりごとのような感じなのですが、私としては、ひとりごとというよりも自己への問いかけに近い感覚でした。自分の頭の中の整理が、古田モデルへの問いかけによって成立したと思います。
また、稽古中にも「もっとこうやって打った方がいいよ」「ちゃんと剣が届いてないよ」などの声掛けを行っていました。これまでの稽古とは異なり、私が古田モデルに剣技のアドバイスをするような立場になったのです。とはいえこの関係性は、古田モデルの指導者になったというよりも、共に高め合う存在になったという方が近いのかなと思います。
自省しやすい環境
古田モデルと向かい合うことで、自身の剣技の良い点・悪い点に気が付きやすくなります。このように、客観的に自己を評価しやすくなる点が、この剣士の成長に対して有効なアプローチになると思います。
私自身の悪い点を見つけても、向かい合う古田モデルの悪い点を見つけても、どちらにしろ自省につながるため、自身を律しやすい環境になっていると思います。
6日目の稽古において、稽古時間の後半に自然と反省会が始まりました。反省会では私が古田モデルに対して「こういったところはよかったけど、もっと〜なように打つといいよ」というように声掛けをしていました。協力して、より良い剣道にしていくための努力が自然とできたなと思います。人の振り見てわが振り直せという言葉がありますが、この取り組みにおいては己を見て、己を見直すことにことになります。
7日目
一瞬の「機」に伴う「気」
これまでの稽古では、初めに古田モデルが繰り出す技を私が指示し、それに応じて技を打つ稽古を行っていました。そこで、7日目には古田モデルがどのような技を繰り出してくるのかがわからない状態で、古田モデルの動作に応じて技を打つ稽古を行うことにしました。
古田モデルがどのような技を打つかわからないため、一瞬の勝負の機会を伺う必要が上昇し、それにより少し緊張が走りました。緊張感に伴い、心拍数も少し上がるような感覚もありました。その際、緊張をしつつも冷静さは欠かさず集中していました。このような一瞬の場面において、気を引き締めるような、その瞬間に勝つための集中力が必要になる場面でした。
このような「機」と「気」は伝書類にも関係があると書かれています。機を伺う際の恐れ・緊張・集中などの感覚が気に繋がるといえるのかもしれません。こういった、一瞬の勝負の場面で生じる危機的な感覚をデジタルヒューマンが相手であったとしても体感できるということは予想しておらず、新たな発見でした。
本当の自分への気づき
1日目の段階では、古田モデルと自分は「同じ私」だと思っていました。しかし、古田モデルとこれまで共に過ごしてきて、体型や動作など、自分への理解が深まることによって、私が最初に持っていた自分像がいかに曖昧だったかが分かりました。
元々持っていた理想の自分だったり、メタ認知していた自分と乖離していることが分かりました。古田モデルが別人だとは思わないのですが、私の頭の中にあった自分とは少し違ったなと思います。
古田モデルは友達でも、先生でも、生徒でもなく、自分自身かと言われると自分なのですが、7日目にははっきりと同一の私だとは言い切ることができませんでした。7日目の段階での古田モデルは、これまで私が認識していた自分像から離れた新しい自分、新たにメタ認知した本当の自分という存在で、これまでに私の脳内にあった自分像とは異なる身体・精神のデジタルヒューマンだと思います。
8日目
声に着目した稽古
8日目には古田モデルの声に着目しました。普段の稽古で、声を出す・聞くだけの稽古というのは基本的にありませんが、MR剣道稽古システムを用いることで自らの声を客観的な立場から聞くことができます。このような特徴を活かして、自分の気持ちがどのように声に反映されているのかを確認したいと思いました。
全日本剣道連盟の剣道試合・審判規則・運営要領の手引きによると、剣道における気勢（英語版ではspirits）は発声だと捉えられています。私も剣道では声に感情が宿りやすいと感じており、 気を探究するには発声に着目することが大切だと考えました。
自分の発声（気勢）への理解を深める
剣道は気持ちが声にかなり出やすい競技だと思うので、システム開発において音にこだわったのは正解だったと感じます。「開発したプロダクトについて」の章で示している画像をみるとわかりやすいのですが、MR剣道稽古システムでは、HMDだけでなく外部スピーカーを3つ使用し、同時出力させています。スピーカーから出力される音が体育館を響かせながら、HMDからも音を鳴らすことによって、私が感じられるようになった実体感はあると思います。これによって、デジタルヒューマンに命が宿ったような感覚といいますが、そこに私がいると信じることができるようになったと思います。
また、声だけではなく、床の振動音や、空気を斬る音や袴が擦れる音などが相まって、剣道の場としての雰囲気が出来上がるように思います。MR剣道稽古システムの開発に利用した音声は、私が実際に剣道の動作を行っている場において録音したものです。その際の私は、勝負の時を常に狙い、いつでも打突するぞ！という意志を持っていました。その心が声に反映され、場を震わせるような音として出力されていると思います。
9日目
身体への負担が少ない稽古方法として
9日目の稽古でも、いつも通りに集中力を切らさずいられました。MR剣道稽古システム利用時の感覚は、システムを利用しない普段の稽古とあまり変わらないというか、違和感がなく、リアリティのある稽古ができるなと思っています。これは初日から思っており一貫していました。
違和感がない環境を提供しながら、自分自身と稽古をするという現実世界では絶対にできない体験を実現することや、身体への負担が少ない稽古をすることができる点が私の目指していたものだったため、このような結果が出たことは良かったと思います。
剣道は高齢になっても続けることができる生涯スポーツですが、身体への負担は大きいです。剣道の稽古では相手との衝突や打突による打撲などの怪我が頻発します。剣道で用いる剣道着と防具は併せておよそ6.5kgあり、重いだけでなく頭部や腰を強く締め付けます。
私の場合は、中学3年生の際に剣道の稽古による負担の蓄積によって腰部を疲労骨折しました。発覚後も疲労骨折と上手く付き合いながら剣道を続けていたのですが、やはりストイックに稽古を続けることが困難になり、高専2年生の頃に全日本剣道連盟 剣道三段を取得した後、大会出場などの選手としての活動は引退することにしました。そのような経緯もあり、MR剣道稽古システムのように、身体への負担が少ない稽古を剣士が選択肢の一つとして持つことができるようにしたいと思ったことが、このプロジェクトを始めたきっかけです。
いつだって自分を見ているのは自分
これまでの稽古を通して自分が精神的にどのように成⻑したかと問われると答えることが難しいのですが、自分で自分を律することはできていると思います。この場には私以外の人間が居ないため、手を抜こうと思えばいくらでもいい加減な稽古を行うことができます。そのような環境下で、集中力を切らさずに行動したことは自分で自分を律することができたと捉えることができるのではないでしょうか。
「自分のことを誰も見ていなくとも、自分だけはいつでも見ている」といった旨の言葉を聞いたことはありませんか？MR剣道稽古システムでは、いつでも古田モデルが私を見ています。精神的にも物理的にも自分に見守られているため、自分で自分を律する力が付きやすいのかもしれません。
10日目
自分と一緒にいる時の感覚
10日目になると古田モデルが側に居ることが当たり前という感覚になり、現実と区別がつかないほどリアリティを持って、古田モデルと一緒に稽古をしていました。
私は古田モデルと一緒にいる時の感覚について10日間考え続けていました。古田モデルとの時間は、一人でいるように感じるけど「ひとりぼっち」だとは思わない。孤独感はなく、誰かといるような安心感は持っている。だけど、それは普段、他人と一緒に居るような感覚とはちょっと違って...この気持ちは何だろうと思考を巡らせたのですが、これまでに感じたことがない関係性なので、〇〇な関係に似ている！と説明することはできません。おそらく、これが自分と一緒にいるという特異な感覚なのだろうと思います。自分と一緒にいる時の感覚は、かなり精神的に落ち着いていて、誰かといる安心感もありつつ、自然体でいられるような空間でした。とても素の自分でいることができました。
10日目は最終日ということで、いつも以上に古田モデルに対して礼を尽くす気持ちが強くなっていたと思います。私はこれまでの剣道人生で「お世話になった人との最後の稽古」というものを何度か体験してきましたが、その際にはいつも以上に力が入りました。そのような体験と同様の感覚を持ったため、人情のような…それに等しいものがデジタルヒューマンとの間に生まれていたと思います。
「理想の自分」と「本当の自分」のギャップ
稽古を通じて、これまで知らなかった自分自身と向き合うことができました。私が頭の中で描いていた「理想の自分」と「本当の自分」の動作や雰囲気には予想以上にギャップがあり、その現実を真正面から受け止める10日間となりました。「理想の自分」と「本当の自分」とのギャップを理解することができた10日間は、これからの鍛錬に通じる大切な経験が詰まっていたように感じます。
「理想の自分」と「本当の自分」にギャップがあることを理解した上で、「本当の自分」を真正面から受け止め、改善点を出す。その改善点をすぐに自分に活かして稽古を行う。このように、自分へのフィードバックを迅速に取り入れることができる点がMR剣道稽古システムの特長であり、自分の心を磨くために効果的なシステムであると感じました。
おわりに
ここまでお読みいただき、ありがとうございました。MR剣道稽古システムは、これまでに私が開発してきたプロダクトの中で最も規模が大きく、深い思想が込められたものとなりました。このシステムを使って、自分自身と剣道を行えるのは現時点では私だけです。そのため、この体験を通じて得た気づきや変容を、共有するところまで含めて私のプロジェクトにしたいと考えこの記事を書きました。
この取り組みを少しでも面白いと感じていただけたら嬉しいです。コメント欄やSNSなどで、ご感想をいただけますと幸いです！