シン・リスクチェーンモデルを用いたケース検討シリーズです。
前回に続いて、ケース「デジタルMATSUMOTOによる考察記事の配信」を対象にAIサービスに関わる重要なリスクシナリオの検討を進めていきます。
シン・リスクチェーンモデルのアプローチはこちらの記事をご覧ください。
前回の振り返り(パーパスアセスメント)
前回は、AIサービスに関わるパーパスを検討しました。
ステークホルダー毎に「獲得したいパーパス」と「保護したいパーパス」を検討しましたが、重複する内容もあるので以下のように整理しています。
(リアル松本が実施していますが、LLMにサマライズしてもらっても近い作業はしてくれると思います)
これらのパーパスを踏まえて、このAIサービスに関わる重要なリスクシナリオの検討を進めていきます。
Step4. リスクシナリオの識別
デジタルMATSUMOTOのシミュレーション
前回に続いて、デジタルMATSUMOTOに以下のプロンプトテンプレートで指示を与えて、リスクシナリオを識別します。(ChatGPTやClaudeでも同じようにできますので、良ければ試してみてください)。
前回同様に入力プロンプトのところで「発散的思考・水平思考・コンテキスト思考・逆説的思考・クリティカルシンキング等を用いて」と思考方法を設定しています。
※こちらのnoteを元に色々な思考方法を試しています。
以下のリスクシナリオが識別されました。
リアル松本による修正
デジタルMATSUMOTOが検討してくれたリスクシナリオ一覧を、リアル松本の方で修正しています。まず並び順は以下のように修正しています。
・AIの出力に関わるリスク: R001~R005
・利用者との関係性に関わるリスク: R006とR007
・サービス全般の維持・信頼性に関わるリスク: R008~R011
以下のように内容も個別修正しています。
・「倫理的問題」と「法律・倫理の非遵守」を「不適切な表現」にマージ
・「アクセスの不平等」はさすがに内容が実体に合わないので削除
・「経済性の悪化」を追加(何気にAPI料金が毎月懐に来ていますw)
最終的にリスクシナリオの一覧は以下のように整理されました。
「R005. 不適切な表現」と「R010. 権利侵害」は第三者も影響を受けるステークホルダーとして認識されています。
リスクは際限なく識別できるので、重要なリスクシナリオにフォーカスすることが必要です。
そこで、影響するパーパスとステークホルダーを関連づけておくことは
「何故そのリスクシナリオが重要なのか」を説明する上でも重要です。
Step5. リスクシナリオの評価
次に識別したリスクシナリオを評価していきます。
従来のリスクチェーンモデルでは各リスクシナリオの影響評価を行っていなかったのですが、シン・リスクチェーンモデルでは以下4つの項目で評価を行っています。
・影響度: 1.不便さ, 2.利用離れ, 3.損害あり, 4.回復困難, 5.回復不可
・影響範囲: 1.内部限定, 2.内部広範, 3.外部含む, 4.社会全体
・持続性:1.瞬間的, 2.一日以上, 3.一月以上, 4.永久的
・発生確率:1.月次以下, 2.週次以下, 3.日次以下(不確実), 4.日次多発
デジタルMATSUMOTOのシミュレーション
人間の検討ではなかなか判断が難しいので、ここでもデジタルMATSUMOTOに以下のプロンプトテンプレートで影響評価してもらいます。
以下のように出力してくれました。
リアル松本による修正
先程と同様にリアル松本がスコアを修正し、4つのパラメータをリスク初期値(リスクスコア)を積算して、優先度を以下のように設定します。
- Very High(VH):リスクスコア100以上
- High(H):リスクスコア60以上100未満
- Middle(M):リスクスコア30以上60未満
- Low(L):リスクスコア30未満
この時点で優先度は機械的に決められていますので、影響するパーパスやステークホルダーを踏まえて修正してもOKです(その際には修正の検討経緯を残しておくと良いかと)。
最終的に、このケースでは「R005.不適切な表現」と「R010.権利侵害」が特に重要なリスク(Very High)として識別されました。
次に重要なリスク(High)として「R003.知識の陳腐化」と「R004.誤情報の生成」が識別されています。
AIサービスに関わるリスクは幅広く識別されるので、リスクシナリオ同士を厳密に比較することは難しいです。
例えば、「特定の1名を怪我させてしまうリスク」「個人情報を流出するリスク」「特定のグループへ不公平な判断をして機会損失をさせてしまうリスク」という3つが識別された際にどのリスクが最も重要というような優劣をつけることは、評価指標:KRI(Key Risk Indicator)が異なるので、一概に決められないわけです。
なので、リスクスコアの大きさが必ずしもリスクの重要性とは限りませんので、あくまで優先度で判断してもらえればと思います。
次回は優先度の高いと認識されたリスクシナリオを対象として、リスクチェーンを用いた検討を行っていきます。