脳の「学習する」しくみ -BPアルゴリズム-

★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★

	タイム大好き楽しむマガジン

★★★★★★★★★★★★★★★★★★★★★★★★★ 第804号

こんにちは、発行人のTOMOKO-SANです。

今日19日は曇り空、小雨もぱらつき、少しだけ涼しさを感じられた大阪です。朝、小一時間ほど散歩しました。動くと蒸し暑さも感じるけれども
途中入ったカフェでリラックス＆読書もでき快適でした。(^-^)v

このメルマガは、タイム誌を「できるだけさらりと
（まずは自分が）楽しむために♪」をモットーに創っています。
縁あって、今、こうして読んでいてくださっているあなたに
「英語って面白いなぁ～バイブレーション」が伝わりますように。

それでは今回も早速・・・

★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★

今号は、タイム誌休刊なので『エコノミスト大好きマガジン』です。

ちょっと難しかったけど、今回はこちらのScience記事を。
途中いろいろわからない言葉など調べながら、しっかりお勉強させていただきました。
(^_^;)

The Economist Aug. 17, 2024号 Great Minds/ Science & technology section

◆"Backprop in the brain"
AI scientists are producing new theories of how the brain learns
The challenge for neuroscientists is how to test them.
https://www.economist.com/science-and-technology/2024/08/14/ai-scientists-are-producing-new-theories-of-how-the-brain-learns

Brains learn by being subtly rewired: some connections between neurons, known as synapses, are strengthened, while others must be weakened.

ニューロン（脳の神経細胞）の間のつながり（シナプス）の強さ、弱さで、かすかに配線が組み替えられる(rewired)活動により、脳は学習する。

How the brain knows which synapses to tweak and by how much?
（脳はなぜ、どのシナプスが、どのくらい調整されるべきかがわかるんだろう？）

Dr Hinton popularised a clever mathematical algorithm known as backpropagation to solve this problem in artificial neural networks. But it was long thought to be too unwieldy to have evolved in the human brain.

• 人工ニューラルネットワーク(ANN)は、人間の脳のしくみ（ニューロン間のあらゆる相互接続）から着想を得たもので、脳機能の特性のいくつかをコンピュータ上で表現するために作られた数学モデル。

• 誤差逆転伝播 (backpropagation=BP）とは、コンピュータが人間の脳のように学習する方法（アルゴリズム）の一つで、間違った答えを出したときに、どのように間違えたのかを逆にたどって正しい答えに近づける方法。

長い間、ヒトの脳内での学習として、誤差逆伝播法（BP）はありえないと考えられていました。

が、(+_+)

Now, as AI models are beginning to look increasingly human-like in their abilities, scientists are questioning whether the brain might do something similar after all.

AIモデルがますます人間に近い能力を表現し始める中、科学者たちは「脳も結局は、BPと似たような方法で活動してるんじゃないか？」という疑問を持ち始めた(?_?)

■ 脳が学習するしくはどうなっているのかについて、いくつかのセオリー

One of the most prominent and longstanding theories of how the brain learns is Hebbian learning. The idea is that neurons which activate at roughly the same time become more strongly connected; often summarised as "cells that fire together wire together".

• ヘッブの学習則(Hebbian learning rule)
  要約すれば「ニューロンAの発火がニューロンBを発火させると2つのニューロンの結合が強まる」（fire together wire together)ということ。(^^)d

Hebbian learning can explain how brains learn simple associations—think of Pavlov's dogs salivating at the sound of a bell.
パブロフの犬の条件反射の法則は、これでよく説明される。

ただし、言語学習などのより複雑なタスクの場合についてヘッブの学習則で説明するには不十分。

Today's top AI models: Such a model would be made up of thousands of synthetic neurons, arranged in layers. Pictures are fed into the first layer of the network, which sends information about the content of each pixel to the next layer through the AI equivalent of synaptic connections.

Integral to this learning process is the so-called backpropagation-of-error algorithm, often known as backprop.

人工ニューラルネットワーク(ANN)上で、最近主流になっているAIモデルは、誤差逆転伝播（BP）のアルゴリズム（backpropとも言われる）によるもの。 (^o^)/

If the network is shown an image of a bird but mistakenly concludes that it is not, then - once it realises the gaffe - it generates an error signal.
This error signal moves backwards through the network, layer by layer, strengthening
or weakening each connection in order to minimise any future errors.

例えば、コンピュータが出した答え（「これは鳥である」）が間違っていた（「鳥ではなかった」）場合、
その間違いを逆向きにたどって(this error signal moves backwards through the network)、どの部分をどう修正すれば良いかをコンピュータ自身に教えて、次回からは間違いを最小限にとどめる(minimise any future errors)ようにする方法。

コンピュータはさまざまな問題をより正確に解決できるように学習していきます。

■ Neuroscientists have always been sceptical that backpropagation could work in the brain.

脳科学者の間では、このようなBPによる学習は、実際の生物脳内では起こり得ない！と考えられていました。

なぜなら....

For one thing, neurons mostly send information in one direction.
For backpropagation to work in the brain, a perfect mirror image of each network of neurons would therefore have to exist in order to send the error signal backwards.

ほとんどのニューロン間の情報伝達は一方向であり、脳内で誤ったシグナルを逆方向(backprop)に流せるような、完璧な"脳の鏡"といえる神経細胞ネットワーク(a perfect mirror image)は、存在しえないという考えがあった。

■ All the same （それでもなお）！（＾～＾）

All the same, the success of neural networks has renewed interest in whether some kind of backprop happens in the brain. There have been promising experimental hints it might.

これまでのANNモデルが成功しているからか、脳ではbackprop的な何らかの動きが起こっているんじゃないか?!という新しい関心が生まれてきており、それを示唆するような実験結果も報告されている。 (･o･;)

A preprint study published in November 2023, for example, found that individual neurons in the brains of mice do seem to be responding to unique error signals, one of the crucial ingredients of backprop-like algorithms long thought lacking in living brains.

これまで生物脳には「ない」とされてきたBPアルゴリズムの重要な要素（誤差信号への反応）がマウスの脳内のニューロンで認められた。

Scientists working at the boundary between neuroscience and AI have also shown that small tweaks to backprop can make it more brain-friendly.

BPへの微修正の方が（他の学習法よりも）脳内の表現に近いことも示されました。

One influential study showed that the mirror-image network once thought necessary does not have to be an exact replica of the original for learning to take place. This makes it less implausible. Others have found ways of bypassing a mirror network altogether.

必要とされていたミラーイメージネットワークも、必ずしも学習を起こすためにはオリジナルと全く同じレプリカである必要がない、という研究結果も出ています。（これで、それほどBPは信じがたいものだ、という考えはなくなりました。）

また、そもそもミラーイメージネットワークを全く通らない(bypassing)方法も見つかっています。

■ 新しい学習原理 「prospective configuration」

Other researchers are exploring rather different theories.

In conventional backprop, error signals lead to adjustments in the synapses, which in turn cause changes in neuronal activity. The Oxford researchers proposed that the network could change the activity in the neurons first, and only then adjust the synapses to fit.

英オックスフォード大学などの研究チームによる発表では、従来のANN上のBPアルゴリズムではエラーを減らすためにシナプス結合を修正しようとするのに対し、人間の脳はシナプス結合を調整する前に、まずニューロンの活動を「最適にバランスの取れた構成」に変更するということを提案している。

この新しい学習原理は「prospective configuration」と名付けられた。

★要するに、生物が持つ脳の方が、機械学習システム(ANN)よりも微妙で複雑な動きができてより優れている! っていう理論ですねぇ～。こういうの、いいなぁ。(^^♪★

Identifying the algorithm, or algorithms, that the brain uses to learn would be
a big step forward for neuroscience. Not only would it shed light on how the body's most mysterious organ works, it could also help scientists build new AI-powered tools to try to understand specific neural processes.

脳が「学習」のために使うアルゴリズムを特定すること。これは神経科学における大きな一歩となるでしょう。身体で最もミステリアスな臓器（＝脳）のしくみを解明するだけではなく、そのための新しいAIツールを構築
していく助けにもなります。

★うぅ～！難しかったけどよく学ばせてもらいました～ｖ(^o^)ｖ

今回は、このへんで。 (^-^)

メールマガジン「タイム大好き楽しむマガジン」