[備忘録] E資格対策 補講動画 (2/4): 自走できるAI人材になるための6ヶ月長期コース
今回は「キカガクさんの半年にわたる講義の備忘録」ではなく、受講する特典の「E資格対策用の補講動画」の備忘録 2記事目です。
1記事目はこちら。
備忘録
セクション9: 深層学習〜誤差逆伝播法・過学習対策〜 (1h 08m)
・最急降下法の復習
・誤差逆伝播法
中間層 ReLU関数、シグモイド関数
出力層 Softmax関数
誤差逆伝播法は連鎖律 (Chain Rule) を組み合わせたもの
・過学習 (Overfitting) 対策
ードロップアウト (完全に理解できなかったので別途調べる)
学習時に適用する
ある確率 (1-P) でノードの出力を０とする
重みの更新時は (1-P) の逆数をかける
※隣接するノード？の出力結果が０になっているため
推論時は重みにPをかける
ー正則化
損失関数に加えて正則化項も含めて学習を行う。結果、重みも同時に小さくなる
L1正則化: Lasso回帰
L2正則化: Ridge回帰
セクション10: 深層学習〜最適化〜 (0h 50m)
・最急降下法 (Steepest Descent Method / Gradient Descent Method)
学習係数: Learning Rate
・SGD 確率的勾配降下法 (Stochastic Gradient Descent)
Batch 学習
経験的に局所解に陥りにくい
・モーメンタム (Momentum)
SGDに速度ベクトルを加えたもの
セクション11: 深層学習〜CNN・RNN〜 (1h 22m)
・ネステロフのモーメンタム (Nesterov Momentum)
論文で良く出てくる言葉（empirically）
・Adagrad (SGD の派生系)
アダマール積 (要素積)
勾配に応じて係数が変わる
・RMSProp
Adagrad の発展系
減衰率ρ で調整する
ハイパーパラメータは多い
・Adam
RMSProp / Momentum を組み合わせたようなもの
試行回数t を変数に入れることで、係数の値が変わらなくなる
セクション11: 深層学習〜CNN・R-CNN〜 (1h 22m)
・画像認識の有名なモデル
ーAlexNet 2012 ILSVRC 優勝
ーVGG16 2014 ILSVRC 2位
Convolution / Pooling を繰り返すCNNベースのネットワーク構成
ーGoogle Net 2014 ILSVRC 優勝
Inception モジュール
途中でsoftmax を入れると勾配消失を防ぐ
ーResNet (Residual Network) ILSVRC 2015 優勝
元の値を利用することで、バックプロップで勾配消失を防ぐ
Batch Normalization
GAP (Global Average Pooling)
He の初期化
・R-CNN (Regions with CNN)
ー概要
一般物体検出
ーCNN の復習 (Convolutional Neural Network)
ーR-CNN
領域を取り出す＝Selective Search
背景もラベリングする
計算コストが高い
ー正解の定義 (IoU: Intersection of Union)
Bounding Box
IoU = Area of Overlap / Area of Union
ーFast R-CNN
RoI Pooling を用いる
ーMulti-task Loss
クロスエントロピー L1, 矩形回帰誤差 L2
ーFaster R-CNN
Selective Search を使わないことで、最後までバックプロップできる
その代わりにRPN: Region Proposal Network を用いる
・Semantic Segmentation
U-Net
突然、Semantic Segmentation の話が出てきたので以下調べた内容。
セマンティック セグメンテーション (Semantic Segmentation) は、画像内の全画素にラベルやカテゴリを関連付けるディープラーニング (Deep Learning) のアルゴリズムです。特徴的なカテゴリを形成する画素の集まりを認識するために使用されます。たとえば、自動運転車は車両、歩行者、交通標識、歩道、その他の道路の特徴を識別する必要があります。セマンティック セグメンテーションは、自動運転、医療用画像処理、工業用検査など幅広い用途で使用されています。
FCN
Fully Convolutional Networks for Semantic Segmentation
SegNet
Pooling した時の情報をdecoder 側に渡す