GPTとfMRIで脳から言葉を読み取る

GPTとfMRI（機能的磁気共鳴画像法）を使い、脳から言葉を読み取る事に成功したという主旨の論文がテキサス大学の研究チームから発表されたそうです。


従来の研究では外科手術を必要とする埋め込み型デバイスを使用するか、埋め込み型ではない場合は断片的な単語等への変換に限られていたそうです。


今回の研究ではfMRIを使う事で手術が不要な上に、文章として連続した解読が可能になったそうです。
脳の動きを言葉に変換する為にChatGPTの前身で2018年に公開された初代のGPTを使っているそうです。


20〜30代の男女3人の参加者に対して15回、計16時間fMRIに横になってポッドキャストを聞き、その間の脳の血流を測定し、測定データとポッドキャストの内容をGPTに事前学習させたそうです。
同じ参加者に新しいポッドキャストを聞かせ、脳の測定データのみからGPTでテキストを生成させたそうです。
部分的に表現が正確に一致している場所もある一方で相違する部分もあるそうですが、概要を掴む事ができているそうです。
実験ではほぼ半数で元のポッドキャストの概要とおおむね一致したそうです。


この技術が進んでいけば、話せない状態の人とも上手くコミュニケーションが取れるかもしれませんね！
又この研究では最先端でないGPTが使われているので、何でも最先端を使えば良いっていう訳ではない事もわかりました！