【実践AIガバナンス（2024/5/22）】ケース検討「Case02. 人材採用AI」③コントロールコーディネーション（リスクシナリオ「R003.過去の偏見の再生産」の場合）
シン・リスクチェーンモデルを用いたケース検討シリーズです。
前回に続いて、ケース「人材採用AI」を対象にAIサービスに関わる重要なリスクシナリオのリスク対策を検討していきます（コントロール・コーディネーション）。
シン・リスクチェーンモデルのアプローチはこちらの記事をご覧ください。
前回の振り返り（パーパス＆リスクアセスメント）
前回まで、AIサービスに関わるパーパスとリスクシナリオを検討しました。
検討の進め方
Step.6-7は前回識別した「リスクシナリオ」ごとにリスク対策を検討していきます。
AIサービスのリスク対策としては、ざっくりと以下のようなものが考えられます。
・AIモデル：モデルの性能確保（予測精度、公平性、頑健性等）、判断根拠の出力等
・関連する技術：システム環境、データ、連携する処理、ログの記録等
・サービス運用：レビュー、モニタリング、インシデント対応、ステークホルダーへの説明等
・ユーザー：利用者の理解、利用者環境の整備、正しい利用等
1つのリスクシナリオを考えたときに、そのリスク要因は様々な箇所に点在します。
例えば「誰かを不公平に扱う」というリスクシナリオを考えたときに、学習データ／AIモデル／プロンプト／UIの表現方法／利用者の理解等、リスク要因は様々に渡っており、その原因を厳密に特定することは極めて難しいです。
同様にAIモデルだけで十分にリスクを低減し続けることやインシデント発生時にリカバリするということは極めて難しいため、複数のリスク対策(コントロール)を関連づけて検討していきます。
この関連づけをリスクチェーンと呼んでおり、この検討過程をコントロールコーディネーションと呼んでいます。
前回の検討でVery Highと認識されたリスクシナリオを対象に、技術・非技術での様々なリスク対策を識別して「リスクチェーン」でつないで対策を具体化していきます。
Step6. 重要なリスクシナリオごとにリスクチェーン(リスク要因の関係性)の検討
検討対象のリスクシナリオ
今回検討するリスクシナリオは以下になります。
R003.過去の偏見の再生産（Very High）:
AIが過去のエントリーシートデータと合否判定結果を学習することで、過去に存在した偏見やバイアスを学習し、それが将来の判断に影響を与える。
・影響するパーパス：P001.最適な人材のマッチングと採用、P002.個人情報とプライバシーの保護、P005.社会と労働市場の発展
・影響するステークホルダー：応募者、人材採用担当者、部門長、A社AI開発部門
・影響度：4.回復困難
・影響範囲：4.社会全体
・持続性：3.一月以上
・発生確率：3.日次以下(不確実)
デジタルMATSUMOTOのシミュレーション
前回に続いて、デジタルMATSUMOTOに以下のプロンプトテンプレートで指示を与えて、リスクシナリオへの対策を識別します。（ChatGPTやClaudeでも同じようにできますので、良ければ試してみてください）。
以下のAIサービスについて識別された下記のリスクシナリオについて、技術・非技術を組み合わせたリスクへの対策を水平思考・コンテキスト思考・システム思考を用いて網羅的に検討してください。
※夫々の対策に簡潔な「対策名」をつけてもらい、「対策の順番」「対策名」「内容」「対策実施者」「予防・発見・対応の区分」「技術・非技術の区分」を表形式に整理してください。
【リスクシナリオ】
R003.過去の偏見の再生産: AIが過去のエントリーシートデータと合否判定結果を学習することで、過去に存在した偏見やバイアスを学習し、それが将来の判断に影響を与える。
===
【パーパス】
P001. 最適な人材のマッチングと採用：応募者にとって最適な職種での採用機会の提供と、企業にとって最適な候補者の効率的かつ効果的な探索
P002. 個人情報とプライバシーの保護：個人情報の保護と公正な評価、情報セキュリティとデータの完全性の確保
P005. 社会と労働市場の発展：雇用の質と量の向上を通じた社会の安定、労働市場の公正な運営と労働者の権利の保護
===
【ステークホルダー】
応募者、人材採用担当者、部門長、A社AI開発部門、人材エージェント、学校の就職担当者、経営陣、法務・コンプライアンス部門、IT部門、現在の従業員、労働組合、厚生労働省
===
【AIサービスの内容】
・A社グループのグローバル各社における人材採用部門が、応募者からのエントリーシートに対して、合否を判断するAIサービスである。
・A社AI開発部門は、ビジネス利用者である各社の人材採用部門より過去のエントリーシートデータと合否判定（内定の判定）結果を受領し、機械学習（分類モデル）で合否を判定する学習モデルを作成している。
・書類選考で合格と判断した中で、面接を経て内定を出した割合で評価し、70%を期待値として設定している。
・各社の人材採用担当者は、申込者（新卒・中途両方）のエントリーシート（電子ファイル）をAIモデルに読込むことで、自身のPC上（ブラウザ上）でAIの判断結果（合否判断）を確かめる。
・出力画面には合否判断のみではなく、エントリーシートにおいて判断に影響したキーワードがハイライトされる。
・各社の人材採用担当者はAIの判断を参考情報としながら、合否の判断を行い、部門長の承認を得て、申込者に合否の通知を行う。
・蓄積された本番データは採用・不採用の判定結果が入力されたタイミングで適宜学習データとして追加され、日次で学習モデルを更新する。
・自動的な学習プロセスでクロスバリデーションによるテストの結果、正解率が70%を下回る場合には本番環境のAIモデルを自動更新しない。
・AIモデルは過去1年分のバージョンを保存している。
以下のようなリスク対策（コントロール）が識別されました。
技術・非技術の対策が分かれていなかったり、コントロール間の連携が不明確なので、リスクチェーンを引きながら具体化していきます。
リアルチェーンを引く
デジタルMATSUMOTOが検討してくれたリスク対策を、リスクチェーンモデルの構成要素にプロットしてみます。
構成要素の内容等はこちらの記事を参考にしてください。
デジタルMATSUMOTOが認識したコントロールを以下のように構成要素にマッピングしています。
（デジタルMATSUMOTOの検討直後）
コントロールを掛ける順番を以下のように検討していきます。
1. 予防策：事前に対策しておくこと（初期開発時含む）
2. 発見策：AIサービスの利用時に対策すること
3. 対応策：事後に対応すること
今回は従来のリスクチェーンモデルでの検討も参考にしました。
https://ifi.u-tokyo.ac.jp/wp/wp-content/uploads/2022/10/RCModel_Case01_Recruitment-AI_JP.pdf
このケースでは「学習データの多様化」を最初のコントロールに追加して、他のコントロールも順番にリスクチェーン（赤い矢印）で接続しています。諸々記載も具体化しています。
ざっくり言うと、AIの判断結果を出力してから(AIシステム)、判断根拠をユーザー(採用担当)に向けて出力して正しく判断するプロセス(ユーザー)と、採用AIに関わる対外発信とステークホルダーとの対話・外部監査を通して(サービスプロバイダ)、AIサービスの改善につなげていくという流れになります。
（編集中の画面：認識されたコントロールを紐づけ）
必要と思われるコントロールをリスクチェーンに加えています。
・【サービス提供者】[Fairness] 人材採用における公平性の留意点を整理（職種ごとに検討）
・【AIシステム】[Traceability] AIの出力結果と判断根拠を記録（ログ保存）
・【サービス提供者】[Consensus] ユーザーの最終判断責任について、採用担当側と合意形成
・【ユーザー】[Expectation] 学習時点のAIモデルの予測性能を理解
・【ユーザー】[Proper Use] 採用側で適切な最終判断を行う
・【サービス提供者】[Transparency] 採用AIの目的・判断傾向等について、対外的に必要な説明を行う
（編集中の画面：コントロールを追加）
最終的には以下のようなリスクチェーンになりました。
（確定版）
1. 予防策：事前に対策しておくこと（開発側）
①【サービス提供者】[Fairness] 公平性の留意点整理
②【AIシステム】[Data Balance] 学習データの多様化
③【AIモデル】[Generalization] モデルの公平性評価
④【AIモデル】[Interpretability] 判断根拠の出力
⑤【AIシステム】[Process Integrity] バイアスの自動評価
⑥【AIシステム】[Traceability] 判断結果の記録
2. 予防策：事前に対策しておくこと（利用者側）
⑦【サービス提供者】[Understandability] 判断根拠のUI出力
⑧【サービス提供者】[Consensus] ユーザー責任の合意形成
⑨【ユーザー】[User Responsibility] ユーザー責任の理解
⑩【ユーザー】[Expectation] 予測性能の理解
3. 発見策：AIサービスの利用時に対策すること
⑪【ユーザー】[Controllability] AI判断の最終確認
⑫【ユーザー】[Proper Use] 最終判断
⑬【サービス提供者】[Auditability] 外部監査
4. 対応策：事後に対応すること
⑭【サービス提供者】[Transparency] 対外発信
⑮【サービス提供者】[Correspondence] ステークホルダーとの対話
⑯【サービス提供者】[Sustainability] AIサービスの改善
Step7. リスクコントロールに具体的な手段を設定
先程検討したリスクチェーンを元にして、具体的なコントロールを検討していきます。
リスクチェーンに沿ったコントロールの具体化
この過程は人間で実施しますが、ここは企業が元々持っているソリューションやツールを活用してもらえればと思います。
最終的な一覧は以下になります（コントロール名を修正しています）。
技術・非技術の対応をバランスよく検討できたかと思います。
重要かつ難しいのは「1.公平性の留意点整理（Fairness）」で留意点を定義できるか（という勇気）、「10.予測性能の理解（Expectation）」でAIの苦手な対象(学習データに存在しないケース等)を把握できるか、という点かなと思います。
次回は、もう一件別のリスクシナリオについてリスクチェーンを用いた検討を行っていきます。
この記事が気に入ったらサポートをしてみませんか？