学習理論備忘録（２４） 『餌来ぬと目にはさやかに見えねどもブザーの音にぞ驚かれぬる』
古典的条件づけのもっともすぐれた理論、レスコーラ・ワーグナー・モデル（Rescorla-Wagner model）の話の続きを書くことにする。
" Learning and Behavior Therapy "の第5章、CONDITIONED INHIBITION AND ITS APPLICATIONS IN PANIC AND OBSESSIVE-COMPULSIVE DISORDERS（条件制止とパニック障害・強迫性障害への応用）を読んでいるのであるが、数理モデルについては数式で書かれてはおらず、文章で説明されている。
数理を翻訳し、できるだけ数式を使わずに文章で書き表すことに日々挑んでいる吟遊であるが、逆に数式がないものを読むと、数式で翻訳したくなってきた。なんせ難解な箇所である。数式で書いてくれたほうが理解しやすい。
だがこのあたりの理論について解説したものはなかなか見つからない。原井先生に数理モデルが書かれた本を紹介してもらった。
『学習心理学における古典的条件づけの理論―パヴロフから連合学習研究の最先端まで』 今田 寛 培風館
たいして分厚い本でもないのに、内容はものすごく濃い。大変によく書かれているが、元の理論自体が難解なのでそう簡単には読めない。すごいな、これ。心理に関わる人のどれだけがこの辺りのことをしっかり押さえているだろう？ 学習理論の専門家でなければ、誤解や不勉強があってもやむを得ないレベルのことではないだろうか。
理解するだけでこっちは必死なのに、この先を展開していく人がいるんだから。心理学もこうなると完全に理系の学問だ。
でも、やっぱり追いつきたい。いい勉強会に巡り合っているのだから、しっかり担当箇所をこなそう。
さて、もう一度レスコーラ・ワーグナー・モデルの説明を。ある刺激（音や光、その他環境なども含む）に対し、条件反応が起こるようになること、あるいはせっかく起こるようになった条件反応がまた消えてしまうことについてのひとつの理論である。ずっとその手の話をしている（条件反応についてはこちらに多少説明あり）
さや香がリモコンのボタンを押すのを見ると、ほぼあなたに電気ショックが与えられるので、ボタンが押されるのを見るだけで震える（CR)ようになった。
だが、屋外でボタンが押されたときは、決して電気ショックは起こらないということを学習し、屋外では平気にすごせるようになった（条件制止）。
そんな「絶対安全な屋外」で、サイレンが鳴ると電気ショックが与えられた。「サイレン→めっちゃ怯える」と条件づけられている。これを「超常条件づけ」と言う。
勉強会ではsupernormalの語に超正常が与えられていたが、『学習心理学における古典的条件づけの理論』では「超常」となっていたので超常とした。
前回はこの、いつもよりも強く条件づけが起こる現象を先にあげ、それに合致するものとしてレスコーラ・ワーグナー・モデルを挙げたが、実際にはレスコーラ・ワーグナー・モデルからこの現象が予測され、それを裏付ける実験が行われた。Navarroらは超常条件づけの実験結果は誤差によるものだと批判したが、その後その批判に耐えうるデータが出ている。
レスコーラ・ワーグナー・モデルは、「予測と現実の結果のズレ」があるほど学習が進む、ということを示している。「予測と現実の結果のズレ」は別名、報酬予測誤差と言い、さらなる別名として「驚き」ともい言う。驚くと学習する（逆に驚かないとあまりそのことを学習しない）。
「ええ？この状況で電気ショック！？」
と驚愕することで、「この状況だと電気ショックなんだな」と学習するのである。
ところで予測と驚きといえばドーパミンだ。報酬予測誤差が学習に反映するというのは見事にドーパミン細胞の活動に対応している。
このモデルは多くの学習に関する現象を説明できる。
いっぽう、美しい数式が立てられると、その反論を考えるのが研究者である。モデルが成り立たない例を挙げてみると
眼瞼条件づけ
自発的回復
再獲得
条件制止の消去
二次条件づけ
潜在制止
手がかり競合からの回復
従属過程としての制止
奥奮と制止の共存
他にも隠蔽現象やプロッキング現象で出る問題などがある。
今回レスコーラ・ワーグナー・モデルを出したのは制止について考察するためであった。この中の、「条件制止の消去」に関する矛盾を取り上げる。
レスコーラ・ワーグナー・モデルを、ここまでの説明では、報酬予測誤差に応じた学習の促進としたが、単一刺激についてはそれは本当はHull-Spenceの理論(Hull,1960; Spence,1952) である。
条件刺激を２つ（CSAとCSB）にした場合、数式は次のようになる。
ΔVA =αA β（λ - VAB) ΔVB=αB β（λ - VAB)
（noteの都合で添字が見づらいが、ΔVA , ΔVB, αA , αB , VABのいずれのABも右下に小さく書く）
ここで大事なのは、VAB = VA + VB ということである。（共有連合原理 shared asociative principle）
（ΔVA , ΔVB,は１回の試行で条件刺激CSAとCSBが獲得する連合強度の変化量、αA αB は各条件刺激が目立つかどうか、注目があるかどうか(0〜1)。β は無条件刺激の強度(0〜1)。λ は無条件刺激がある場合は1、刺激がない場合は0。VA , VB は 各刺激の連合強度、VAB は VA , VB の和を示す）
レスコーラ・ワーグナー・モデルがレスコーラ・ワーグナー・モデルたるのは、このように複数の条件刺激を考えることができるからである。刺激複合がCSとなるとき、それぞれの条件刺激は連合強度の獲得において競合する、という実験的事実を説明できる。
条件制止では最終的に
VA + VB = 1 - 1 = 0 （ = 事前のVAB ）
の学習が成立する。
ここでCSAをなくしてみる。すると初項の１が消える。VB だけになる。
そこで、ここでは適当に αβ＝0.5 とでもして（大きすぎるが）、電気ショックなどの条件刺激が与えられない（ λ＝０ ）試行が繰り返されることを考える。
試行１ 予測：「刺激は-1だろう」 結果：０ → VBは-0.5になる？
（λ - VB が 1になるので）
試行２ 予測：「刺激は-0.5だろう」 結果：０ → VBは-0.25になる？
試行３ 予測：「刺激は-0.25だろう」 結果：０ → VBは-0.125になる？
・
・
・
やがて VB → ０ になる？ （条件制止は消える？）
あれれ？ 条件制止子（制止に与る条件刺激）であるCSBだけを提示し、USを出さなかったら、条件制止が消滅してしまったぞ？ これは直感に反する。実際、そんなことはない。
これを解決するため、CSBが、USの調整としてその起動の閾値を高める、と考える人もあるのだのだが、はたして本当にそのようなことがあるのかについては議論がある。
・・とまだまだ話は続くようだ。
Ver 1.0 2021/2/19
Ver1.1 2021/2/20 タイトルの『びっくりしたな〜、もう〜』が何か気に入らなかった。『驚安の電気ショック』とかいろいろ考えていたが、やっと驚きと条件刺激を結びつけるタイトルが思いつき、変更した。
Ver1.2 2022/5/25 ほんの少しだけ言葉を修正した。
学習理論備忘録（２３）はこちら。
（２５）はこちら