今日調べて面白かったことメモ
もくじ
1. 報酬予測誤差
2. オペラント条件付けと古典的条件付け
3. 情報理論
4. 自由エネルギー
1. 報酬予測誤差
「報酬予測誤差」とは、脳が期待する報酬と、実際に得られる報酬のズレを示す概念で、行動心理学や神経科学で非常に注目されているものです。私たちの脳は行動の結果に対して「どれだけの報酬が得られるか」を無意識に予測しており、その予測と現実に差があると「報酬予測誤差」が発生します。この誤差はドーパミン神経の活動に影響を与え、学習や行動調整の鍵となります。
具体的には、予測した以上の報酬が得られた場合には、ドーパミンの放出が増え、その行動が強化されます。逆に予測よりも少ない報酬しか得られなかった場合には、ドーパミンの放出が抑制され、その行動を見直すように学習が進みます。こうした報酬予測誤差の調整メカニズムにより、私たちは成功しやすい行動や結果を導きやすい選択を学習していくのです。
2. オペラント条件付けと古典的条件付け
オペラント条件付け
「オペラント条件付け」は、行動が報酬や罰によって強化されたり抑制されたりする学習方法で、心理学者のB.F.スキナーによって提唱されました。この理論は「行動が生じた後の結果」に焦点を当てており、行動の結果が行動の頻度を変えるという点が特徴です。例えば、動物が特定の行動をした後に餌（報酬）を与えると、その行動が強化され、次もその行動を繰り返す可能性が高くなります。
オペラント条件付けには、以下の4つの要素が含まれます。
• 正の強化：行動の後に報酬が与えられ、その行動が強化される。
• 負の強化：不快な状況が取り除かれることで行動が強化される。
• 正の罰：行動に対して嫌な結果が生じ、その行動が抑制される。
• 負の罰：望ましい状況が取り除かれることで行動が減少する。
例えば、子供が宿題をした後に褒められる（正の強化）と、その行動は強化され、次も宿題をしようとします。反対に、特定の行動の結果として罰を受けた場合、その行動は抑制されやすくなります。
古典的条件付けとの比較
「古典的条件付け」は、オペラント条件付けとよく比較される学習理論です。古典的条件付けは、特定の刺激と反応が結びつくことで学習が進む方法であり、パブロフの犬の実験が有名です。この実験では、犬にエサを与える際にベルの音を鳴らし続けると、エサがなくてもベルの音だけでよだれを出すようになる、という現象が観察されました。
両者の主な違いは次のとおりです。
• 行動の自発性：オペラント条件付けは自発的な行動が前提で、行動の結果によって強化や抑制が行われます。一方、古典的条件付けは反射的な反応が対象で、条件刺激と無条件刺激が結びつくことで学習が進みます。
• 学習の仕組み：オペラント条件付けでは「行動の結果」が重要ですが、古典的条件付けでは「刺激と反応の関連性」が中心となります。例えば、オペラント条件付けではレバーを押すとエサがもらえるため、レバーを押す行動が強化されます。一方、古典的条件付けでは、ベルの音がエサを連想させるようになり、無意識に反応が引き起こされます。
• 使用場面：オペラント条件付けは複雑な行動や意図的な学習に有用で、古典的条件付けはよりシンプルな反射的な学習や無意識の反応に適しています。
このように、オペラント条件付けと古典的条件付けは学習の方法や対象が異なりますが、どちらも学習理論として非常に重要です。また、報酬予測誤差やドーパミンの働きと組み合わせて理解することで、行動の形成や修正のメカニズムがより深く解明されています。
3. 情報理論
情報理論は、1940年代にクロード・シャノンによって提唱された理論で、情報の「量」や「伝達効率」を定量的に評価します。現代のデータ通信や圧縮、暗号化技術に欠かせない基盤です。
情報理論の核心には、次のような概念があります。
• エントロピー：情報の不確実性や多様性を表す指標で、エントロピーが高いほどその情報は多様で予測が難しいことを示します。たとえば、ランダムに生成されるデータはエントロピーが高く、多くの情報量を持ちます。
• 相互情報量：2つの変数がどれだけ情報を共有しているかを示します。たとえば、ターゲット変数（予測対象）と特徴量（予測に使う変数）の相互情報量が高ければ、その特徴量はターゲットの予測に役立つ可能性が高いです。
これらの概念により、情報理論はデータの効率的な圧縮や、重要な特徴を抽出するための手法として広く活用されています。
4. 自由エネルギー
物理学や化学における「自由エネルギー」は、システムのエネルギーのうち、実際に利用可能な部分を示しています。熱力学の基本式で定義され、エネルギー効率や化学反応の方向性を示す重要な概念です。
自由エネルギーは次の式で表されます：
F = U - T ・S
・内部エネルギー（U）は、システムに含まれる全エネルギーなので、基本的にはこれが「使えるエネルギー」の源です。しかし、全てのエネルギーが使えるわけではありません。
・エントロピー（S）は、エネルギーがどれだけランダムに散らばっているかを示しており、エントロピーが高いほどエネルギーは散らばり、使いづらくなります。つまり、エントロピーの分だけエネルギーは「無駄に」広がり、実際に使える部分が減ってしまいます。
・温度（T）はエントロピーの影響をさらに強めます。温度が高いほど、エネルギーはより簡単に散らばり、エントロピーによって無駄になる部分が大きくなります。したがって、 T ・S の分だけエネルギーは使いづらくなり、自由エネルギーは減少します。
この式は、システム内の「使えるエネルギー」を示しています。温度が高くなるとエントロピーの影響が増し、エネルギーは無秩序に散らばりやすくなり、結果として「使えるエネルギー（自由エネルギー）」が減少します。これは、システムが自然に「エネルギー効率が良く、無駄が少ない状態（自由エネルギーが低い状態）」を目指していると解釈されます。
例えば、化学反応においても、自由エネルギーが低い方向に進む傾向があり、これが平衡状態の成立に関与しています。
まとめ
今回調べた「報酬予測誤差」「オペラント条件付けと古典的条件付け」「情報理論」「自由エネルギー」は、いずれも「効率」「エネルギー」「学習」というキーワードでつながる深い理論です。脳の報酬学習や、行動の強化メカニズム、情報の効率的な伝達、システムのエネルギー効率など、それぞれ異なる分野で応用されていますが、共通して「最適化」を目指す考え方が見られます。
これらの知識は、私たちの行動や日常のシステムの見方を深め、効率的な選択や行動を導く一助となるでしょう。また、こうした理論が日常生活にどう関わっているか考えてみるのも面白いですね。