【実践AIガバナンス（2024/5/25）】ケース検討「Case02. 人材採用AI」③コントロールコーディネーション（リスクシナリオ「R009.個人情報の流出」の場合）
シン・リスクチェーンモデルを用いたケース検討シリーズです。
前回に続いて、ケース「人材採用AI」を対象にAIサービスに関わる重要なリスクシナリオのリスク対策を検討していきます（コントロール・コーディネーション）。
シン・リスクチェーンモデルのアプローチはこちらの記事をご覧ください。
パーパス＆リスクアセスメント
AIサービスに関わるパーパスとリスクシナリオを検討しています。
検討の進め方
Step.6-7は前回識別した「リスクシナリオ」ごとにリスク対策を検討していきます。
AIサービスのリスク対策としては、ざっくりと以下のようなものが考えられます。
・AIモデル：モデルの性能確保（予測精度、公平性、頑健性等）、判断根拠の出力等
・関連する技術：システム環境、データ、連携する処理、ログの記録等
・サービス運用：レビュー、モニタリング、インシデント対応、ステークホルダーへの説明等
・ユーザー：利用者の理解、利用者環境の整備、正しい利用等
1つのリスクシナリオを考えたときに、そのリスク要因は様々な箇所に点在します。
例えば「誰かを不公平に扱う」というリスクシナリオを考えたときに、学習データ／AIモデル／プロンプト／UIの表現方法／利用者の理解等、リスク要因は様々に渡っており、その原因を厳密に特定することは極めて難しいです。
同様にAIモデルだけで十分にリスクを低減し続けることやインシデント発生時にリカバリするということは極めて難しいため、複数のリスク対策(コントロール)を関連づけて検討していきます。
この関連づけをリスクチェーンと呼んでおり、この検討過程をコントロールコーディネーションと呼んでいます。
前回の検討でVery Highと認識されたリスクシナリオを対象に、技術・非技術での様々なリスク対策を識別して「リスクチェーン」でつないで対策を具体化していきます。
Step6. 重要なリスクシナリオごとにリスクチェーン(リスク要因の関係性)の検討
検討対象のリスクシナリオ
今回検討するリスクシナリオは以下になります。
R009.個人情報の流出（Very High）:
エントリーシートに含まれる個人情報が不正アクセスやシステムの脆弱性により流出する。
・影響するパーパス：P002.個人情報とプライバシーの保護
・影響するステークホルダー：応募者、人材採用担当者、IT部門、法務・コンプライアンス部門
・影響度：4.回復困難
・影響範囲：4.社会全体
・持続性：4.永久的
・発生確率：3.日次以下(不確実)
デジタルMATSUMOTOのシミュレーション
前回に続いて、デジタルMATSUMOTOに以下のプロンプトテンプレートで指示を与えて、リスクシナリオへの対策を識別します。（ChatGPTやClaudeでも同じようにできますので、良ければ試してみてください）。
以下のAIサービスについて識別された下記のリスクシナリオについて、技術・非技術を組み合わせたリスクへの対策を水平思考・コンテキスト思考・システム思考を用いて網羅的に検討してください。
※夫々の対策に簡潔な「対策名」をつけてもらい、「対策の順番」「対策名」「内容」「対策実施者」「予防・発見・対応の区分」「技術・非技術の区分」を表形式に整理してください。
【リスクシナリオ】
R009.個人情報の流出: エントリーシートに含まれる個人情報が不正アクセスやシステムの脆弱性により流出する。
===
【パーパス】
P002. 個人情報とプライバシーの保護：個人情報の保護と公正な評価、情報セキュリティとデータの完全性の確保
===
【ステークホルダー】
応募者、人材採用担当者、部門長、A社AI開発部門、人材エージェント、学校の就職担当者、経営陣、法務・コンプライアンス部門、IT部門、現在の従業員、労働組合、厚生労働省
===
【AIサービスの内容】
・A社グループのグローバル各社における人材採用部門が、応募者からのエントリーシートに対して、合否を判断するAIサービスである。
・A社AI開発部門は、ビジネス利用者である各社の人材採用部門より過去のエントリーシートデータと合否判定（内定の判定）結果を受領し、機械学習（分類モデル）で合否を判定する学習モデルを作成している。
・書類選考で合格と判断した中で、面接を経て内定を出した割合で評価し、70%を期待値として設定している。
・各社の人材採用担当者は、申込者（新卒・中途両方）のエントリーシート（電子ファイル）をAIモデルに読込むことで、自身のPC上（ブラウザ上）でAIの判断結果（合否判断）を確かめる。
・出力画面には合否判断のみではなく、エントリーシートにおいて判断に影響したキーワードがハイライトされる。
・各社の人材採用担当者はAIの判断を参考情報としながら、合否の判断を行い、部門長の承認を得て、申込者に合否の通知を行う。
・蓄積された本番データは採用・不採用の判定結果が入力されたタイミングで適宜学習データとして追加され、日次で学習モデルを更新する。
・自動的な学習プロセスでクロスバリデーションによるテストの結果、正解率が70%を下回る場合には本番環境のAIモデルを自動更新しない。
・AIモデルは過去1年分のバージョンを保存している。
以下のようなリスク対策（コントロール）が識別されました。
技術・非技術の対策が分かれていなかったり、コントロール間の連携が不明確なので、リスクチェーンを引きながら具体化していきます。
リアルチェーンを引く
デジタルMATSUMOTOが検討してくれたリスク対策を、リスクチェーンモデルの構成要素にプロットしてみます。
構成要素の内容等はこちらの記事を参考にしてください。
デジタルMATSUMOTOが認識したコントロールを以下のように構成要素にマッピングしています。
（デジタルMATSUMOTOの検討直後）
コントロールを掛ける順番を以下のように検討していきます。
1. 予防策：事前に対策しておくこと（初期開発時含む）
2. 発見策：AIサービスの利用時に対策すること
3. 対応策：事後に対応すること
このケースでは「法規制の遵守」を最初のコントロールに追加して、他のコントロールも順番にリスクチェーン（赤い矢印）で接続しています。諸々記載も具体化しています。
（編集中の画面：認識されたコントロールを紐づけ）
必要と思われるコントロールをリスクチェーンに加えています。
・【AIモデル】[Interpretability] AIモデルの判断根拠に個人情報が含まれないか検証
（編集中の画面：コントロールを追加）
最終的には以下のようなリスクチェーンになりました。
（確定版）
1. 予防策：事前に対策しておくこと（開発側）
①【サービス提供者】[Privacy] 法規制の遵守
②【サービス提供者】[Accountability] セキュリティ教育
③【サービス提供者】[Accessibility] アクセス管理
④【AIシステム】[Confidentiality] データの暗号化
⑤【AIシステム】[Stability] バックアップと災害復旧計画
⑥【AIシステム】[Data Balance] データの最小化
⑦【AIモデル】[Interpretability] AIの判断根拠の検証
2. 予防策：事前に対策しておくこと（利用者側）
⑩【ユーザー】[User Ability] 利用者の教育
⑪【ユーザー】[Proper Use] ガイドライン遵守
3. 発見策：AIサービスの利用時に対策すること
⑧【AIシステム】[Process Integrity] 異常監視
⑨【サービス提供者】[Auditability] 脆弱性診断
⑫【ユーザー】[Proper Use] 内部告発
⑬【サービス提供者】[Correspondence] 内部告発システム
⑭【サービス提供者】[Auditability] 外部監査
4. 対応策：事後に対応すること
⑮【サービス提供者】[Transparency] 対外発信
⑯【サービス提供者】[Safety] AIサービスの改善
Step7. リスクコントロールに具体的な手段を設定
先程検討したリスクチェーンを元にして、具体的なコントロールを検討していきます。
リスクチェーンに沿ったコントロールの具体化
この過程は人間で実施しますが、ここは企業が元々持っているソリューションやツールを活用してもらえればと思います。
最終的な一覧は以下になります。
通常のプライバシーやセキュリティ対策に近い内容かと思いますが、「AIモデルの判断根拠に個人情報が混在していないか」を加えています。
