G検定 5−1 21. スキップ結合

シラバス　21. スキップ結合　についてまとめていきます。

目標

・スキップ結合の概要を理解する
・ディープラーニングにおけるスキップ結合の役割を説明できる
・スキップ結合を活用したResidual Network（ResNet）の概要を理解する

キーワード

Residual Network (ResNet)

Feloで作成

■スキップ結合とは

畳み込み層やプーリング層、全結合層を重ねることで非常に深いネットワークが作れる。が、、、、学習時に誤差を入力層まで逆伝播しにくくなり識別精度が落ちる問題あり。そこで層を飛び越えて結合させるスキップ結合が考案された

■主な効果

1. 勾配の伝播改善
   ・勾配消失問題を軽減
   ・入力をより深い層に直接伝える経路
   ・層を飛び越えて情報を伝達する接続

2. 情報の保持
   ・元の入力情報を保持
   ・勾配消失問題を軽減
   ・細かい特徴が失われにくい

3. 学習の安定化
   ・深いネットワークでも安定して学習
   ・収束が早くなる傾向
   ・アンサンブル学習になっている

■ResNetの特徴

• 超深層で152層。

• 2015年に優勝

• スキップ結合を初めて効果的に活用

• Microsoftが開発した

• 高い認識精度

■実用的なメリット

・より深いモデルの構築が可能
・学習時間の短縮
・精度の向上
・過学習の抑制

ディープランニングの各種層