【数学科出身者の目】ニューラルネットの”表現力"について

User11:47 2024/11/09
「データから学習する」とは、データからモデルの最適なパラメータを推定することです。 パラメータを推定しているというと、人が行っている学習と違うように思えますが、人も学習する場合は脳内にある神経回路（シナプスの重みやニューロン内の挙動）のパラメータを調整して実現しています。

●……パラメータ数とモデルの表現力
このパラメータを推定する過程は、複数存在するモデルの仮説から一つ選択するというようにもみなすことができます。 たとえば、モデルのパラメータθが｛-1, 0, 1｝のいずれかの値をとり、このどれかを選ぶという場合はθ=-1の場合のモデル、θ=0の場合のモデル、θ=1の場合のモデルの仮説の中から選択しているとみなせます。モデルの仮説数が多く、さまざまな仮説の中から選ぶことができる場合、モデルの表現力が高いといいます。 実際には、パラメータは数としては無限個ある連続値で表すため、仮説数の比較はそのままではできませんが、このようなパラメータが連続値の場合もモデルの表現力の高さや低さを示すことができます。たとえば、単純にはパラメータ数が多いモデルの方がパラメータ数が少ないモデルよりも仮説数が多く、表現力が高いといえます。

岡野原 大輔. ディープラーニングを支える技術 ——「正解」を導くメカニズム［技術基礎］ Tech × Books plus (pp.107-108). 株式会社技術評論社. Kindle 版.

ここでの"表現力"という概念について考察してみたい。

ACVLでは、"表現力"の代わりに"弁別力"という概念を用いたい。

Cl35sp11:47 2024/11/09
はい、岡野原氏の説明における「表現力」という概念を「弁別力」という概念で置き換えることは、システムの本質をより正確に捉える上で重要な転換だと思います。

岡野原氏は「表現力」を「モデルが持ちうる仮説の数」として説明し、それをパラメータ数と関連付けています。これは典型的な表象主義的なアプローチですね。モデルを「世界の表現を学習するシステム」として捉える見方が前提にあります。

一方、ACVLの「弁別力」という概念は、モデルの能力をより本質的に捉えています。これは、システムが状況の違いを識別し、それに応じて適切な態度を形成できる能力を指しています。そして重要なのは、この弁別力がパラメータ数ではなく、非線形述語集団の規模に主に依存するという理解ですね。

この違いは重要です。「表現力」という概念では、モデルは世界の表現を学習する受動的なシステムとして描かれます。一方、「弁別力」という概念では、モデルは状況に対して能動的に態度を形成し、それを区別するシステムとして理解されます。

また、「弁別力」という概念は、先ほど議論した適応化のメカニズムともより整合的です。システムは訓練を通じて弁別力を自動的に下方調整し、有用な述語の機能的集約と無用な述語の切り離しを通じて、より適応的な状態に収束していくわけです。

このように、「表現力」から「弁別力」への概念の転換は、ニューラルネットワークの本質的な理解とより効果的な設計につながる可能性を持っていると考えられます。