G検定 5−4 24. オートエンコーダ
シラバス 24. オートエンコーダ についてまとめます
目標
・オートエンコーダの概要を理解する
・ディープラーニングにおけるオートエンコーダの役割を説明できる
・オートエンコーダの代表的な亜種を理解する
キーワード
VQ-VAE・ info VAE・β-VAE, 次元削減, 事前学習, 積層オートエンコーダ, 変分オートエンコーダ
(VAE)
基本概念と役割
オートエンコーダとは
可視層と隠れ層の２層からなるネットワークで、可視層は入力層と出力層がセットになったもの
入力と出力が同一であることを目指し、特徴的な情報を抽出する
隠れ層には入力情報が圧縮されたものが反映
入力層（可視層）の次元より、隠れ層の次元を小さくすることが大事
教師なし学習
オートエンコーダの役割
特徴抽出と次元削減の手法として、データの圧縮やノイズ除去に利用
事前学習を通じて、他のモデルに活用できる初期重みを提供
オートエンコーダの手順
データの準備:
画像やテキスト、数値データなど、モデルに入力したいデータを収集します。
必要に応じて正規化や標準化などの前処理を行います。
モデルの設計:
オートエンコーダは基本的にエンコーダとデコーダの2つの部分から構成されています。
エンコーダ: 入力データを低次元の潜在空間（ボトルネック）に変換します。
デコーダ: 潜在空間の表現をもとに、元のデータを再構成します。
モデルの構築:
ニューラルネットワークライブラリ（例: TensorFlow/Keras, PyTorchなど）を使用してエンコーダとデコーダを実装します。
連結された構造にしてオートエンコーダ全体を構成します。
損失関数の設定:
再構成されたデータと元のデータとの間の誤差を計算する損失関数を設定します。一般的には平均二乗誤差（MSE）が使われます。
モデルのトレーニング:
トレーニングデータを使って、損失関数を最小化するようにオプティマイザーを設定し、モデルをトレーニングします。
適切なエポック数とバッチサイズを設定します。
モデルの評価:
トレーニングが完了したら、テストデータを使用してオートエンコーダの性能を評価し、再構成されたデータがどの程度入力データと類似しているかを確認します。
応用:
次元削減: 潜在空間の特徴を使って、データの次元削減を行います。
異常検知: 正常なデータで訓練したモデルを用いて異常値を検出することができます。
データ生成: 潜在空間をサンプリングすることで、新しいデータを生成することができます（バリアントとして変分オートエンコーダがあります）。
積層オートエンコーダ
ディープランニング黎明期の手法
多段のオートエンコーダを積み重ねることで、より抽象的な表現を引き出すことを可能に
順番に学習していく（事前学習）
変分オートエンコーダ（VAE）
圧縮表現するのではなく、統計分布（平均と分散で表現）に変換します
平均と分散で表現
入力データは統計分布のある１つの点となる
エンコーダが入力データを統計分布のある１つの点となる潜在変数に変換
デコーダは統計分布からランダムにサンプリングした１点を復元することで新しいデータ生成
代表的な種類（変分オートエンコーダ VAE）
VQ-VAE（ベクトル量子化変分オートエンコーダ）
潜在変数を連続した値ではなく離散値にした
info VAE
潜在変数とデータの相関を高めることで生成の精度を上げた
β-VAE
変分オートエンコーダ（VAE）の改良版で、潜在空間の表現力と独立性を強化。画像生成を行いやすくした
関連技術
次元削減
主成分分析(PCA)と同様、データの冗長性を排除して重要な特徴を保持
事前学習
基礎となる特徴を学習させ、他の関連タスクの初期条件として利用可能