G検定 5-1 19. 正規化層

シラバス　19. 正規化層　についてまとめていきます

目標

・正規化層の基礎的な知識を理解する
・代表的な正規化手法について理解する
・正規化層がディープラーニングモデルの学習において、どのような役割を果たすのか説明できる

キーワード

グループ正規化, バッチ正規化, レイヤー正規化, インスタンス正規化

Feloで作成

【正規化層の基本概念】

■正規化とは

・各層の特徴の平均値が0、分散が1になるように正規化処理を行う
・特徴分布のバラツキを抑制
・過学習を防ぐ効果

■代表的な正規化手法

バッチ正規化 (Batch Normalization)

• 各層で活性化関数をかける前の特徴を正規化

• どのように変形すればよいか学習によって決める

• ミニバッチ単位で正規化

• 各層でバラツキをチャネルごとに正規化するよう学習

• 最も一般的な手法

• 勾配消失問題の軽減

レイヤー正規化 (Layer Normalization)

• 層（データ）ごとに全チャネルをまとめて正規化

• バッチサイズに依存しない

• RNNなどの系列データ処理

• 小さいバッチサイズでの学習

インスタンス正規化 (Instance Normalization)

• データごとに各チャネルを正規化

• 画像のスタイル変換

• 画像生成タスク

グループ正規化 (Group Normalization)

• データごとに複数のチャネルをまとめたグループ化して正規化

• 小さいバッチでも安定

• GPUメモリ効率が良い

■正規化の効果

・学習の安定化
・過学習の抑制
・学習速度の向上
・モデルの汎化性能向上

ディープランニングの各種層