【機械学習マネジメントライン概要】|AIシステムの品質評価の枠組みと方法論について

ESTYLEデータサイエンス事業部の星ちゃんこと鈴木です。こちらの記事では機械学習品質マネジメントガイドラインの概要について説明しています。

本ガイドラインは、機械学習を含んだサービスの開発者が、そのサービス品質を担保するために必要な考え方および手順を示したものです。

品質を担保するための考え方

仕様や設計を改善することで利用時品質を担保する必要がある
まず、開発するサービスを利用する際の品質を利用時品質と呼びます。本ガイドラインでは、この利用時品質を担保することを目指します。この利用時品質は、サービスを構築している各パーツごとの実行時の挙動によって決まります。

この挙動の品質のことを外部品質と呼びます。外部品質は、そのパーツの具体的な仕様やコード設計によって決まります。

この具体的な仕様やコード設計の品質のことを内部品質と呼びます。本ガイドラインでは、パーツの内部品質向上（要は仕様や設計を改善すること）を通じて、サービスに求められる利用時品質を担保します。

なお、本ガイドラインでは利用時品質を達成するために必要な機械学習要素を含むパーツの内部品質および外部品質にのみ着目します。機械学習要素を含まないパーツの品質管理については、従来のソフトウェア品質管理方法に基づくものとし、対象外となります。

[1]品質の階層構造および対象となる品質範囲を図示した図

品質を担保するための手順

①まずサービスの内容によって、利用時に要求される品質レベルを決めます。（イメージ：サービスが誤作動したら人が死んじゃうな、じゃあ安全対策はしっかりしなきゃ）
②その後、そのレベルに応じて外部品質ごとに求められるレベルを設定します。（イメージ：しっかりした安全対策が必要なら行動制御システムの安全対策レベルもしっかりしなきゃ）
③最後に、そのレベルに応じて内部品質ごとに求められるレベルを設定します。（イメージ：しっかりした安全対策をするなら機械学習モデルの精度は重要だ）
④レベル設定が終わったら、内部品質のレベルごとに決められた要求水準を達成するために様々な技術や適切な開発プロセスに基づいて、開発します。（イメージ：しっかりと機械学習モデルの精度測定をするために交差検定を使おう）

なお、最初のステップである利用時の要求品質レベルの設定時に適切な指標がない場合、外部品質ごとに決められているレベル設定目安を代替指標とします。

外部品質と内部品質の概観

外部品質は3項目、内部品質はまず開発プロセスごとにA〜Eに分かれ、さらにA-1〜E-1の9項目から成ります。

                     　　　　　　[2]品質実現の全体構造

リンク

[1]https://www.cpsec.aist.go.jp/achievements/aiqm/AIQM-Guideline-1.0.1.pdf（7Pより抜粋）[2]https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html

採用情報

ESTYLEは、「コウキシンが世界をカクシンする」という理念のもと、企業のDXを推進中です。経験・知識を問わず、さまざまな強みを持ったエンジニアが活躍しています。

「未経験文系からデータサイエンティストへ」

弊社では、スキルや経験よりも「データを使ってクライアントに貢献したい」「データ分析から社会を良くしていきたい」という、ご自身がお持ちのビジョンを重視しています。

ご応募・問い合わせはこちら。