【文献調査】モジュラーデコーディング等

モジュラーデコーディング

任意の画像を再構成することが目標．

類似画像の探索法

被験者が見ている動画と近いものをYOUTUBE上から見つけてきて，近い画像ベスト１００を重みつけして平均化して再構成をする（Nishimoto et al.Curr.Bio.,2011）
課題：YOUTUBE上にはないものには対応不可なため，任意の画像には対応できない．

モジュラーデコーディングアプローチ

・実験で見せる刺激として，10✖︎10のバイナリー画像を用いる．
・画像を複数の小さい要素（ピクセル）に分解して，考える(Miyawakiet al.,Neuron,2008)
・ピクセルは白か黒の判別問題として，扱うことができる．
・人の視覚野の特徴を用いる
・応用例として，文字や顔画像（20個の顔のテンプレートから似ているものを探し，全てのピクセルを重ね合わせる）の再構成に使われている．（Cowen et al., Neurolmage,2014 Lee & Kuhi,JNS,2016）
・音の再構成にも使われている（Santoro et al., PNAS,2017）
➡︎この研究ならfMRIいらない？（要調査）

深層学習を用いたデコーディング

・深層学習を用いて，物体のカテゴリーを予測する（Horikawa&Kamitani,Nat.Commun,2017）
・上記の研究を応用させて，被験者の見ている画像をダイレクトに再構成
➡︎ランダムな画像を初期値として，ニューラルネットに流し込むと，ランダムな画像に対する中間層に対して，二乗誤差が最小になるように繰り返す．（Shen et al,bioRxiv preprint,2017)
・使うレイヤーを増やすと，画像の精度が高くなる．（Shen at al）

MRIとデータベース

・5000枚以上の自然画像を視覚刺激とした４人の被験者のfMRI応答のデータベースがある．デコーディングにも使える．(Chang et al.,CCN.2018)
・Human connectome project:数千被験者の構造画像，機能的統合データを公開．また，数年間定期的に撮像した構造画像を公開