脳波の深層学習でスケーリング則を発見
以前に紹介したARAYAという企業の取り組みで大きな進展がありました。過去記事を載せておきます。
ようは、
最新のAI理論と意識研究（グローバルワークスペースと統合情報理論）を駆使することで人工的に意識を発現する研究に取り組んでいる、
というはなしです。
今回の最新発表はこちらです。
生成AIは、深層学習を基盤とし、Transformerモデルを応用したLLM（大規模言語モデル）のスケーリング則によってその脅威が注目されました。詳細は過去記事に委ねますが、要は「多かろう悪かろう」という従来の常識（過学習と呼びます）を覆しました。
そのスケーリング則が、脳波の深層学習でも生じていたという発見です。
従来の脳波学習は、被験者による長時間負担を要することから、短時間でしか計測されませんでした。
それを、（被験者合意のもとで）長期間計測することで、LLMのスケーリング則と同様の学習効果を見出しました。引用元から抽出します。
縦軸が正確性（Accuracy）となってますが、これは脳波から読み取れる音声聞き取りです。頭蓋骨をあけずにそのまま脳波を読み取る装置（非侵襲型）です。脳とマシンとつなげる技術をBMI（ブレインマシンインターフェース）と呼びます。関心ある方のために、侵襲・非侵襲に関する過去投稿を載せておきます。
LLMが内部でやっていることは、言語をトークンに分解してマシンが読み取れる地図を作ります。その地図を構成する数字の集まりを潜在表現と呼び、LLMではその地図上の距離や方向性で確率的にはじいて、あたかも人間と会話しているレベルまで次の言葉を予測することができます。（改めて書くとやはり不思議です）
今は音声や動画含めた「マルチモーダル」にOpenAIやGoogleなど大手は注目していますが、原理は似ていて、同じように潜在表現に変換します。（エンコードと呼びます）
今回の実験も、まず脳波をエンコードして潜在表現にすることで対応する音声言語を予測しています。ただ、もう一工夫加えており、表情を変える筋肉の電気信号も訓練に組み合わせることで、脳波単独よりもやや正確性を高めることに成功しています。
今回は非侵襲型での実験なので、今後の実現性と応用は高いと感じます。
例えば、fMRI小型化が研究されているので、いずれはポータブル版も実用化されるかもしれません。
そうなると、常に我々の脳内データが学習され、物理世界で起こる入力をすべて学習し、より人間らしい知能に近づくかもしれません。
（まだ論文査読前ですが）今回の研究発表は次の技術革新につながる重要な一歩です。