【機械学習マネジメントライン内部品質】|AIシステムの内部品質における各項目の詳細

ESTYLEデータサイエンス事業部の星ちゃんこと鈴木です。こちらの記事では機械学習品質マネジメントガイドラインの内部品質について説明しています。

本ガイドラインは、機械学習を含んだサービスの開発者が、そのサービス品質を担保するために必要な考え方および手順を示したものです。

内部品質の項目と概要

内部品質は5つのステップと9つの項目に分かれます。本記事では、項目ごとの観点の説明と、用いられる代表的な技術の列挙を行います。

       [1]内部品質の項目と概要を示した図（本ガイドライン19,20Pより抜粋）

A品質構造・データセットの設計
A-1問題領域分析（要求分析）の十分性
まずは分析対象となる境界を定める。どの状況は発生して、どの状況は発生しないのか、という観点や正解ラベルも具体的な値に落とし込む。

【分析工程に関する技術】
要求分析, Causal Loop Diagram, STAMP/STAP, Fault Tree Analysis,
Fault Mode and Effects Analysis, Loop Diagram, Feature Tree

A-2データ設計の十分性
上記で決めた境界内のデータの切り分け方を考える。具体的にはデータの項目や項目内の取り方を検討する。
例えば降水量をデータ項目として取る場合、小数点○位の連続データとするか、四捨五入で整数するか、ビン分割にするか、などの粒度を決める。

【組み合わせに関する技術】
網羅性基準, 組み合わせテスト技術（t-way）

Bデータセットの品質
B-1データセットの被覆性
上記で決めた切り分け方で実際に集計したデータを入れ込み、全パターンに十分な量のデータ数が入っているか？

B-2データセットの均一性
使用データの分布が実際の母集団の分布に近いか？

例えば、実際に発生するのが稀なケースのデータ数は少なく、よく起こるケースのデータ数は多くなっているなど。

B-3データセットの妥当性
データの値に誤りがないか、不適切でないか。そもそも欲しい情報を代表している値なのかといった使用するデータ自体が間違っていないか、という観点。

例えば、1日の歩数にマイナスが入っていたり、ありえないほど大きな値が
入っていたり、健康度合いを示すのに使われていたり、など

C機械学習モデルの品質
C-1機械学習モデルの正確性
学習データセットに含まれる入力に対して精度のいい出力を返すか。想定通りの入力だったとして、性能はどうか。（必要な精度を確保できているか）

C-2機械学習モデルの安定性
学習データセットに含まれない入力に対して期待通りの出力を返すか。（運用上問題になる程度の検討外れの出力をしないか）想定外の入力だったとして、性能はどうか。
【モデルの性能テストに関する技術】
オラクル問題, テスト・オラクル, メタモルフィックテスティング,
ファズテスティング, 敵対データ, ニューロンカバレッジ, Coverage-Guided
Test Genereation, Surprise Adequacy, Test-time Augmentation(TTA),
Data Augmentation, GAN
【安定性の評価と向上に関する技術】
交差検証、正則化、敵対的データ検知、敵対的データ生成、スムージング、
敵対的訓練、汎化誤差上界、最大安全半径、ロバスト訓練
【公平性分析に関する技術】
Causal Baysian Networks, Prejudice Remover, Adversarial Debiasing,
公平性メトリクス（equalized odds, predictive parity, demographic parity）,
Reject Option-based Classification(ROC), What-If分析

Dソフトウェア実装の品質
D-1プログラムの信頼性
データや機械学習モデルに対して、正しい動作をするプログラムかどうか。

E運用時の品質
E-1運用時品質の維持性
運用開始時に満たされていた品質基準が維持されるかどうか。
【運用時に関する技術】
全コンセプトドリフト検知手法、破滅的忘却、
アクティブラーニング（能動学習）

リンク

[1]https://www.cpsec.aist.go.jp/achievements/aiqm/AIQM-Guideline-1.0.1.pdf（19,20Pより抜粋）

採用情報

ESTYLEは、「コウキシンが世界をカクシンする」という理念のもと、企業のDXを推進中です。経験・知識を問わず、さまざまな強みを持ったエンジニアが活躍しています。

「未経験文系からデータサイエンティストへ」

弊社では、スキルや経験よりも「データを使ってクライアントに貢献したい」「データ分析から社会を良くしていきたい」という、ご自身がお持ちのビジョンを重視しています。

ご応募・問い合わせはこちら。