
【AI基礎論】「深層学習」では、何故、深層にするのか?
「深層学習」では、何故、深層にするのか?
これを 数学的に答えることは難しい という話はよく書かれます。
実際、数理論理学を すこし勉強すると、任意のn変数の2値関数は、命題論理式で表現できるという事実と、任意の命題論理式は ∧∨形式に変形できることが分かります。つまり、中間層に十分な次元があれば、出力層で任意の関数を作り出せるのです。
つまり、ニューラルネットは、入力層→中間(/介在)層→出力層の3層で十分なのです。
ただし、この話のミソは、「中間(/介在)層に十分な次元があれば」というところにあります。
任意の2値関数を作り出すには、超巨大な次元が必要になります。
この超巨大な次元の中間(/介在)層の代用になるのが多段の中間(/介在)層集団なのです。