DeepLearning学習メモ

こんにちはTAN2です。

DeepLearningどういう流れで学習されるかについて原理的なことを少しメモしておきたいおと思います。

Loss関数：　誤差などを定量的に表す関数。色々なパラメータに依存する。
Loss：　Loss関数が出力する値。

Lossを０にするパラメータをみつけたい。

Lossが０になるようにパラメータを更新していけば良い。

パラメータを一つだけ選び少し動かして、Loss関数が増えるか減るか観測すれば、パラメータをどちらの方向に動かせば良いか分かる。

これをLoss関数の全部のパラメータでほぼ同時にやる。

それは大変なので、微分を使う。微分は、少しパラメータを動かしたら、どれだけLossが変化するかを表した値。

DeepLearningは基本的には掛け算や足し算などの簡単な数式の足し合わせである。なので微分関数を求めるのはそこまで難しいことではない。微分関数を求める方法は、自動微分（のうちのバックプロパゲーション）と呼ばれる。微分関数と入力が既知であれば、微分が分かる。

微分がわかれば、Loss関数のパラメータを更新すれば、Lossは０に近づいていく。

こうやって学習される。