正規化、モデル圧縮、分散処理

正規化（標準化）の3つの手法

▼バッチノーマライゼーション
　チャンネルをまたいでサンプルを取り正規化する手法であり、基本的にはこれを追求
▼レイヤーノーマライゼーション
　レイヤー内で標準化する手法であり、画像などメモリを大量に使うバッチサイズが小さいときに有効
▼インスタンスノーマライゼーション
　チャンネル単位で正規化する手法であり、バッチサイズが小さい、特に画像スタイル変換を行う際に有効

モデル圧縮の3つの手法

▼Pruning（枝刈り）
　必要性の低い重み（閾値を事前に設定）を０にする手法であり、学習中のモデルに適用
▼QUantization（量子化）
　重みを任意の実数値でなく限定された値（閾値を事前に設定）に落とし込む手法であり、学習済モデルに対して行う
▼Distillation（蒸留）
　事前に学習させた教師モデルを使って（KLダイバージェンスを使った分布の活用）、ノード数の少ない軽量化された生徒モデルを構築し、推論の高速化が可能

分散処理の2つの手法

▼データ並列
　ミニバッチのデータを複数のGPUに乗せて学習を行う手法（パラメータ更新の際はマスタと呼ばれるGPUで一括）
▼モデル並列
　モデルの内部の計算を複数に分けて計算させる手法（処理が複雑になるためデータ並列の方がよく使われる）