ロボットはどうやって脳波で操作するのか？
脳波を読み取り機械を操作する技術であるブレイン・マシン・インタフェース（Brain Machine Interface: BMI）
考えただけでロボットが動く技術の研究が、今進められています。
イーロン・マスクが創設したneuralinkが一定の成果を挙げるなど、最近、BMIを使った機械操作技術が注目されていますが、そのBMIはどのように実現されているのでしょうか？
脳波を測定し、それを機械が理解できるデータに変換する方法や、脳波を利用して機械を操作するための仕組みについて一般人にも分かるように説明します。
脳活動を測る
機械を操作するためには脳活動を計測する必要があります。
ではどんな脳活動の計測方法があるかというと1つは脳波です。
詳しくは上記の記事を参考にして頂ければと思いますが、簡単に言えば脳が活動するときに発生する電気を、頭皮に装着した電極から読み取る方法です。
脳活動の計測方法には脳波以外にも
fMRI
NIRS
MEG
ECoG
といった様々な手法がありますが、脳波は比較的安全に取得でき、脳活動に対する時間的な情報が豊富なのが特徴です。
脳波以外に今注目されているのが、上記したECoG。
これは、イーロン・マスクのNeuralinkも実験している頭蓋内の埋込み型脳波です。手術をして脳に直接電極を当てるわけですね。
こういった手術をして脳活動を読み取る方法を「侵襲型」の計測方法と呼びます。
侵襲型は脳活動の情報を高精度で読み取ることが可能ですが、その分リスクも大きく、簡単には計測ができないのがデメリットです。
非侵襲型
・安全
・価格が安い
・精度が低い
侵襲型
・脳出血などのリスクが高い
・価格が高い(手術も必要)
・精度が高い
非侵襲型に分類される脳波は、実用性が高いわけですね。
特徴的な3つの脳活動
脳波を使えば比較的安全に、脳活動によって機械を操作することが分かりました。
それではより詳細にどのような脳波を機械の操作に変換するか説明したいと思います。
脳波には過去の研究者達によって発見された「特徴的な形」が複数存在していて、それらを数学を使って導くことで、機械の操作に繋げる事ができます。
大別すると以下の3つの特徴的な脳波が存在します
事象関連脱同期／同期
事象関連電位
定常状態誘発電位
少し専門的な用語になってしまったので、1つずつ解説します。
事象関連脱同期／同期
この特徴が最も皆さんの想像に近いものだと思います。
例えば、左手に装着されたロボットを動かしたい時に、「左手が動くイメージをする」
といった時に発生する脳波の特徴です。
人が運動のイメージをすると、運動野に特徴的な波形が出ることがわかっています。
この波形は周波数のα波に近いと言われているのですが、その変化を利用することで、左手が動くイメージをしているのか？ それとも何もイメージしていないのか？ を予測することができます。
（α波って何？という方はこちらの記事で解説してます）
事象関連脱同期／同期の特徴を用いたBMIは主に2選択肢〜4選択肢が選べると言われていて、
左手、右手、両足、舌、の4つの動かすイメージをすることで、4つの選択肢を実現できます。
事象関連電位
事象関連電位は注目度合いを測るような特徴です。
例えば異なる絵が10個あったとします。
その中で1つだけ好きな絵があったとします。
その時、10個のを絵をランダムに順々に被験者に見せるとどうなるでしょうか？
恐らく好きな絵が出現した時に、他とは違う脳活動をするのではないでしょうか？
この活動の際に出現するのが事象関連電位と言われている脳活動で、「他とは違う」時に強くできる脳波のピーク反応です。
BMIへの応用としては、例えば、5つの選択肢を用意しておきます。
ユーザは予め5つの中の1つの選択肢を頭の中で選んでおきます。
その後、5つの選択肢を順番に提示すると、1つの選択肢が提示された際に、上述した脳波のピークが現れるので、そのピークを見つけられれば、どの選択肢をユーザが選びたかったのか予想できるわけです。
選択肢の提示方法は、視覚、聴覚、触覚等の提示方法があります。
視覚なら、"あ", "い", "う", "え", "お"とかでも良いわけですね。
そうすると、予め選びたい言葉を頭に想像しておいてもらって、文字を画面に次々と表示するだけで、どの文字を選びたいか分かります。
定常状態誘発電位
最後の定常状態誘発電位は刺激のパターンが脳波に現れるパターンと同じになることを利用します。
例えば、1秒間に10回光る画像(10Hzと呼びます)と、1秒間に20回光る画像(20Hzと呼びます)を横に並べます。
この時にBMIユーザーが10Hzの画像の方に意識を向けていたらどうなるでしょうか？
予想通りにBMIユーザーの後頭葉には10Hzの脳波パターンが出現します。
これによってユーザーがどの画像に意識を向けているかが予想できます。
上記したものは視覚を利用したパターンでしたが、聴覚、触覚でも同じ事ができ、1秒間に10回なる音、でも原理的には同じ事ができます。
機械に繋げる際に考えること
前節まででBMIユーザーが何を選びたいか？をどう推測するか説明してきました。
ただし、これらの推測したコマンドをすぐに機械に伝えられるかというとそうではありません。
機械で実現したい事と、脳波で出来る事のバランスを取る必要があります。
脳波で出来ることの制約としては
コマンドを選ぶまでの時間はどのくらいか
コマンドを選べる正確性はどのくらいか
コマンドはいくつ選べるのか
に大別できます。
実はこれらの3つの制約はInformation Transfer Rate (ITR)と呼ばれる指標になっており、全てがバランスすると良いBMIとなります。
例えば、1msのように早く選択でき、大量の1000選択肢のような選択が選択できるBMIだとしても、正確性が0.1%であれば、全く使い物になりません。ほとんどランダムと変わらないわけです。
逆に正確性が100%でも、選択肢が2つで、1時間かかるみたいな場合も、ユーザのストレスは相当なものでしょう。
キーボードへの応用
最も有用性が高く、難病患者の意思伝達手段として期待されているのが脳波キーボードです。
脳波キーボードがアルファベットが多いのですが、6 x 6の36文字のマトリックスを使ったキーボードが基本になっています。
図では二行目が選ばれた状態になっている。もう一度実行すると、G, H, I, J, K, Lを選ぶモードになる。
これは1回目の選択で行を、2回目の選択で列を選ぶようなキーボードです。
本当はコンピュータに使われるようなQWERTYキーボードを実現できるのが理想ですが、今のBMIの技術を考えるとこれくらいの選択肢数が現実的となります。
このキーボードが使われている様子は下記の動画から見ることができます。
キーボードへの入力が出来てしまえば、その先はどうとでもなります。ロボットや機械を操作するのはコンピュータなので、コンピュータからキーボードの入力を変換してしまえば良いのです。
ロボットへの応用
キーボードのキー選択は、特定のキーを「押すか押さないか」でした。
それがロボットになってくると、どの動きをどのくらいの時間で、どのくらいの速さで動かすかという難しい話になってきます。
ここはロボット工学の研究者と脳科学者の腕の見せどころで、現状の技術でどこまで出来るかが日々ディスカッションされています。
例えば、私が研究しているロボットアームとの複合プロジェクトでは、まずは手始めに、予め用意されたモーションの中から1つを選ぶという、選択型のロボットアームインタフェースの研究をしています。
脳波でALS患者の武藤さんが100%に近い精度でロボットアームを動かしました。
— 荻野幹人 (@mikito_ogino) April 17, 2024
An incredible feat, Mr. Muto, an ALS patient, controlled a robotic arm with near 100% accuracy using brainwaves.#吉藤オリィ #武藤将胤 #荻野幹人 #WITHALS #ALS #脳波 #分身ロボット @origamicat @Masatane_Muto pic.twitter.com/mGvkbn4bxP
選択型なのでアームを本物の腕のように動かす、とまではなかなかいきませんが、実際に脳波を介してアームが動いているところを見て、技術の進歩を実感して頂く方が多いようです。
まとめ
脳波で機械を操作する技術であるブレイン・マシン・インタフェースについて概要を説明しました。脳活動計測方法の1つである脳波について説明し、脳波から得られる特徴をどのようにユーザの選択に紐づけているのかを説明した後、キーボードやロボットへの繋ぎ方について説明しました。
より詳細な実装方法や研究については各BMIの論文を参照して頂ければと思います。
また、私のプロフィールではこれまでのBMIのプロジェクトや論文について参照頂けます。