豆寄席：機械学習デザインパターンおよび機械学習システムの品質保証の取り組み

データ中心の時代を生き抜くエンジニアに知ってほしいこと。【オンラインセミナー】 (2021/09/21 19:30〜)

昨日開催された自社の勉強会へ参加したのでメモ的に残しておく。

プレゼンター：早稲田大学　鷲崎 先生

機械学習システムと品質

機械学習によるパラダム転換

・ 従来のエンジニアリングは、演繹的（モデルが最初に与えられる）
・ 機械学習ベース：帰納的（モデル・アルゴリズムがデータで決まる）

👆非常に端的で解りやすい比較　九州大学名誉教授の村上和彰先生も似たようなことを話していたのを思い出した。

人工知能ベースシステムの品質

・ 品質の概念
　（訓練・テストデータの品質、モデルの品質、機械学習システムの品質）
・ 品質マネジメント
　（PoC、監視、オンライン学習、更新など）
・ 品質保証技術
　（疑似オラクル、メタモルフィックテスティング、頑健性検査、ニュー
　　ロンカバレッジ、説明性）

👆学習元のデータ品質は大切なんだなということと、ブラックボックスになりがちな人工知能の説明性も問われる場面があるとのこと

ML Opsは、アジャイル開発と親和性がある。

機械学習システムの構成と品質技術

・訓練データ（ミスの無さ、偏りの無さ、網羅性）

・基盤ソフトウェアシステム（組み入れ正しさ、品質保証全体）

👆従来からある設計品質・ソフトウェアエンジニアリングなどは忘れずに！ベースとなる考えなので大切

・訓練済みモデル（性能、頑健さ、解釈、説明性）

👆機械学習は、ブラックボックスになりがちで説明性が低くなりがち。説明がつくモデルを作り、それと突き合わせていく

・予測・推論に基づく振る舞い（合目的性、想定外対応）

👆上位の目的に照らしあせて正しいのか。機械学習的には正しいが、価値（論理的）に照らしあせて正しいのかを検討する

性能・網羅性：メタモルフィックテスティング

検索エンジンのテストをするとしたら、検索結果が”正しい”と言うことを証明することは現実的に不可能。正解を準備することができない。

メタモルフィックテスティングは、結果の関係性を検証する

犬で〇〇件ヒット。秋田犬で✕✕犬　◯◯ ＞ ✕✕ になることを検証

sin(x) = sin(x + 360)  sin(x) の答えの正しさを検証するのではなく、関係性を検証する。

データ（写真）にノイズをいれても、結果は同じになること。もメタモルフィックテスティング

ニューラルネットワークデバッグ

深層学習の修正

・再訓練（追加訓練データの検討が難しい、デグレの危険性あり）
・オンライン学習（データを与えて逐次学習をして修正）
・データの拡充（成績、選択、拡張）敵対的サンプル？
・特定サンプルに応じたパラメータ直接変更（要因分析：特定ニューロン　と　パラメータ修正）

敵対的サンプル（特定のラベルに対する検証データと誤認識データとのニューロン出力の平均値の差分による局所化）

JST未来社会eAIプロジェクト　高品質AIを実現するフレームワーク

論文ででてきた手法を実装・実践へどう結びつけるのかを研究している。