機械学習ライブラリ進捗5 - 畳み込み層の逆誤差伝播

このバージョンの時点

nariakiiwatani/MyFirstCNN

※あまり期待通りに動いていないため、多分何かミスしてます

畳み込み層のバックプロパゲーションを実装した。
ついでにReLUとMaxPoolingも。
結果はこんな感じ。

（畳み込み層の誤差伝播が間違ってるのにさっき気づいたけど、いまの構成だとそれより前に層がないので動作には影響ないはず。）

いまは各クラスに教師データはひとつで、繰り返し学習させるという動作になっているので、局所解に落ちていく確率は直観的には高そうだなあとは思う。

Softmaxを実装したら、うまくいっている構成の例を探して真似して、MNIST手書き文字データでも食わせてみるかなあ。

疑問

- ハイパーパラメータはみんなどうやって考えてるの？
- ハイパーパラメータの試行錯誤を定量的に行う方法はある？
- ちゃんと学習できてるかどうかって定量的に確認する方法あるのだろうか？
- 畳み込み層にもバイアスっているの？
- 学習の様子を見ていると、かなり早期に全結合層は固定されて、その後畳み込み層が長く動き続ける様子がみえるのだけどそういうもの？畳み込み層の学習がうまくいってない？