[備忘録] E資格対策 補講動画 (1/4): 自走できるAI人材になるための6ヶ月長期コース

今回は「キカガクさんの半年にわたる講義の備忘録」ではなく、受講する特典の「E資格対策用の補講動画」の備忘録です。

長期コース | 株式会社キカガク

レクチャー数 105、動画の合計時間は 19時間。講義中では手法のコーディングだけだったけど、なぜその手法なのか、またはその手法がどう処理しているのかを細かく、そして基礎から教えてくれました。

先日やっと全部見終わりました。結構なボリュームでした。ノートを書き写さない、適宜入る演習問題を解かなくて良いならもう少し早く終わります。動画は倍速にもできるので観るだけなら最短9時間くらいで終わります。

具体例を示しながら教えてくれる動画なので、複雑な式でもイメージが掴みやすいと思います。

備忘録は長くなるので3回くらいに分けて投稿したいと思います。
→ 2020.7.21追記 4回に分けて投稿になりそうです。

セクション1：はじめに (0h 01m)

E資格試験対策の書籍、Webサイトの案内

セクション2: 数学 〜線形代数〜 (2h 24m)

高校数学のベクトルから丁寧に解説

・ノルム (norm): ベクトルの長さ

・単位ベクトル

・内積1 : ノルムは内積で書かれることが多い

・内積2 : ベクトルが直行するとき、内積は0

・逆行列を用いて連立方程式を解く

・行列式 (determinant)
　逆行列が存在しない→多重共線性 (Multi Collinearity) →相関関係があると考えられる

・3 x 3 の逆行列

・固有値分解 → 主成分分析で利用する
　固有値、固有ベクトル → 固有値の数だけ固有ベクトルがある

・対象行列、直行行列、対角行列

・特異値分解 (Singular Value Decomposition: SVD)
　U: 左特異行列 → 左特異ベクトルで構成
　V: 右特異行列 → 右特異ベクトルで構成
　S: 固有値の平方根 大きいものから入れていく（対角行列）

・ラグランジュの未定乗数法
　→ 制約条件付き問題の最適化手法
　　L: ラグランジュ関数 （制約条件も含めた一つの式を作る）
　　主成分分析の途中の式で出てくる

・主成分分析
　教師なし学習の時に次元を削減したい時に利用する
　step1: モデルを決める（新たなの軸）
　step2: 目的関数を決める（分散の最大化） 
　※前提：データは標準化済み。動画だけの話？
　　→ xの平均は0、t の平均は0
　t の分散を最大化したいが、制約条件が必要。w ベクトルは長さではなくて、方向が重要。Lの微分を進めていくと、固有値問題になる。

セクション3: 数学〜確率統計〜 (1h 24m)

・期待値→加重平均（離散値→Σ、連続値→積分）

・分布
　ベルヌーイ分布（2値の分布）
　マルチヌーイ分布（カテゴリカル分布）(k値の分布）
　正規分布 Normal Distribution （ガウス分布: Gaussian Distribution)

・ベイズ則
　同時確率：x, y という事象が同時に起こる確率
　独立性
　周辺化
　条件付き確率 p(x | y) yが条件
　ベイズの定理
　機械学習ではどう使うのか？

・尤度関数
　前提y (予測値) はどれだけ正しかったのか？fit していたのか？

セクション4: 情報理論 (0h 49m)

・情報理論
　ゴール
　クロスエントロピー（分類の損失関数）の式を説明できる様になること

・情報量

・エントロピー（平均情報量）
　クロスエントロピー（交差エントロピー）

・KLダイバージェンス
　Kullback Leibler Divergence

セクション5: 機械学習〜基礎・パーセプトロン〜 (1h 28m)

・機械学習アルゴリズム
　タスクT
　ー 分類、回帰、機械翻訳、異常検知
　性能指標P
　ー 精度 (Accuracy)、誤差率 (Error rate)
　ー テスト集合の分け方
　　　Hold-out 法
　　　交差検証法 (Cross Validation)
　経験E
　ー データ集合 (dataset）を指す
　ー データ追加の判断基準はデータの量と質を見直す

・微分で必要な知識
　ー exp, log
　ー ベクトルで微分の公式
　　スカラー、ベクトル、行列
　ー 連鎖律 (Chain Rule) 合成関数の微分

・パーセプトロン
 　SVMの基盤となっている
　step1: 「モデル」を決める
　赤ワイン、白ワインの分類
　ー 境界線を求める
　ー 境界線に値を代入して正、負で判断する
　step2: 「損失関数」を決める
　ー ヒンジ損失関数 → 誤っているとカウントされる
　step3: 損失関数を「最小化」する
　ー max( ) が微分できない
　ー 再急降下法を利用する

セクション6: 機械学習〜サポートベクターマシン〜 (0h 38m)

パーセプトロンの欠点を改善したものがサポートベクターマシン(Support Vector Machine)。2つを分類する際にマージンを最大化するwとbを求める。

マージンを最大化するにあたっての制約条件はパーセプトロンの条件を持ってくる。これより、制約条件ありの時に利用できるラグランジュの未定乗数法を用いて問題を解いていく。

セクション7: 機械学習〜ロジスティック回帰〜 (0h 52m)

回帰とあるが分類に用いるもの。2値分類に用いることが可能。

教師データはベルヌーイ分布に従う。

尤度関数を最大化していく。そのために微分を実施したい。一方積の微分は大変なので対数尤度関数を利用する。ロジスティック回帰にはシグモイド関数を利用している。シグモイド関数の微分について説明あり。

足してから微分しても微分してから足しても同じ。

セクション8: 機械学習〜k-means・最近傍法〜 (0h 14m)

・k-means法
　教師なし学習のクラスタリング
　クラスター数はハイパーパラメータとして事前に決める必要あり

・最近傍法 (Nearest Neighbor)
　距離の概念が発生する時には標準化してから計算することが多い

・k-NN法
　近いk個のサンプルを利用して多数決を用いてクラスの分類を行う