ニューラルネットワークと重回帰モデルの違いは何ですか？
統計分析に基づく業務改善に取り組まれているお客様に対して、ニューラルネットワークのご紹介を行う機会がありますが、その際にこの質問をお受けすることがが多くあります。
多層ニューラルネットワークを例にすると、ネットワークの構造上は
・中間層がゼロ
・入力から出力への伝達関数がシグモイド関数-->線形
（シグモイド関数も、原点付近では線形になります）
の場合には、重回帰モデルと等価になります。
また、ニューラルネットワークの伝達関数の非線形性は、説明変数間の非線形効果の表現力（中間層だけでは非線形性を表現できません）の他に、外れ値の入力に際しても、系の応答が異常になることを防ぐ効用があります。理論上はともかくとして、両者の違いを顕著に表す具体例として、典型的な非線形問題である排他的論理和問題を考えることは有益です：
入力1 入力2 教師出力
1 1 0
1 0 1
0 1 1
0 0 0
このデータセットをニューラルネットワークで学習させると上記の関係を表現する連続関数が容易に得られます。
実際、ニューラルワークス PredictのExcelインターフェイス
( ノイズ設定=>「クリーンなデータ」、データ変換=>「規則的なデータのみ」、 変数選択=>「変数選択しない」、ネットワーク探索=>包括的なネットワーク探索」)
で実施したところ
入力ノード2
隠れノード3
出力ノード1
のモデル(関数)を得ることができ、教師変数値を正確に再現するモデルが得られました。
この問題を重回帰モデルに適用すると(たとえば、Excelメニューから、分析ツール-->回帰分析などを使用)
入力1 入力2 モデル出力
1 1 0.5
1 0 0.5
0 1 0.5
0 0 0.5
となり、関数として表現不能であることがわかります。
重回帰モデルは、考えている系の定性的理解に役に立つ場合が多いですが、上に見たように、このような簡単な例に対してもその表現能力に限界があります。
ニューラルネットワークは、
・説明変数間の相関（交互作用）が強い
・関数関係が時間的に変化するので、都度のメンテナンスに手間が掛かりすぎる
のような状況において、特に有益なツールであると言えます。
※弊社では、データ分析プロジェクトにまつわる様々なご相談に、過去20年
以上に渡るプロジェクト経験に基づき、ご支援しています。社内セミナー
の企画等、お気軽にご相談いただければ幸いです。
製品カタログ