人間同様、睡眠によって記憶効率が回復するAI

新しいことを学習させると古い学習を忘れてしまうAI

Fig 1. Network architecture and foraging task structure. | Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation

AI（artificial neural networks）に対して連続的に異なることを学習させると、以前に学習をしたことを新しい学習で上書きして忘れてしまう「破局的忘却」と呼ばれる現象が起きます。

生物のように「睡眠」をはさむことで破局的忘却を回避

Fig 7. Periods of sleep push the network towards the intersection of Task 1 and Task 2 synaptic weight manifolds. | Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation

新しいタスクを訓練する合間に、生物の睡眠中に見られるような「自発的な再活性化」の時間を設けることで、古いタスクが上書きされて消えてしまうという現象を緩和することに成功しました。

【龍成メモ】

AIの仕組みを語る時に「人間や生物の脳の仕組みを模した」という表現がよく使われます。

しかし、今回の論文にも登場するスパイクタイミング依存可塑性（STDP）やバックプロパゲーションなど、工学的（理学的にも？）に考えられているような理想的なメカニズムは、人間の脳には存在しないと考える脳科学者も多いようです。

AIは完全に私の範疇の外ですが、とてもおもしろい研究だったので紹介しました。

STDP(スパイクタイミング依存シナプス可塑性)も授業で扱いづらいトピック。業界の人は昔から信じてないし、多分、in vitroのアーチファクトだが、理論家はこの美しいお話を手放したくないし、今後も「脳の学習則」にインスパイアされたAIが出てくるでしょう

— Yuki Kamitani (@ykamit) December 31, 2020

#AI #睡眠 #破局的忘却   #スパイクタイミング依存可塑性

Photo by Markus Spiske