4-2.ディープラーニング基礎
ニューラルネットワークの各ユニットにおいて、総入力を出力に変換するために何の活性化関数を設定するかは、予測の精度に関わる非常に重要な問題である。単純パーセプトロンは、ニューロンの一種であり、活性化関数としてステップ関数を用いたものに相当する。
初期は、出力の正規化を行う関数として、シグモイド関数がよく用いられたが、現在は、勾配消失問題が起きにくく、簡単なReLU関数が用いられることが多い。また、出力層付近では、ソフトマックス関数がよく用いられる。
上記を大前提に、ここでは
