機械学習ライブラリ進捗4 - 逆誤差伝播法

このバージョンの時点

nariakiiwatani/MyFirstCNN

バックプロパゲーション（逆誤差伝播法）が実装できた。

できたといっても、伝播していく枠組みを作って、実装はとりあえず全結合層でのみやったというだけだけど。
期待通り動いてそうに見える。

とにかくいくつも解説してあるブログ記事を読んだけど、わかったと思って実装してみようとするとできない。
- 順伝播の導関数ってどうやって実装するの？
- 出力層から「何を」受け取って「何を」次の層に渡すの？
- 2層以降前ではひとつの重みが全ての出力に関係するから計算が複雑に云々...って実装にあたって何が変わるの？
などなど。

自分で手を動かして簡単な例から紙の上で計算してみて確かめて...とやってやっとコードに落とせる程度に理解しました。（たぶん）

何も参考にならないと思うんですけどこんな感じで何がどうなってるのか整理してました。

疑問

- ハイパーパラメータはみんなどうやって考えてるの？
- ハイパーパラメータの試行錯誤を定量的に行う方法はある？
- 畳み込み層のバックプロパゲーション大変そう...
- 一応望ましい結果が出てるように思うけど、ちゃんと学習できてるかどうかって定量的に確認する方法あるのだろうか？