AIセキュリティ未来予想 ~ 個人情報保護とAI保護のジレンマの発現 ~
はじめに
現在わたしは、大阪大学のProSecに科目等履修生としてオンラインで通っています。
この記事は、実践セキュリティ特論IIという科目を受講した際に、AIセキュリティについていろいろと調べ、自分なりに考えてみた未来予想を書いたものです。誰かに読んでもらえたら嬉しいなぁと思い、思い切って記事にしてみました！
わたしの結論（未来予想）は、
個人情報保護とAI保護のジレンマが発現する
です。なぜこの結論に至ったのか、詳しく書いていきたいと思います。
AI企業では、どのようなセキュリティインシデントが起こっているのか
まずは現状を把握するために、AI企業ではどのようなセキュリティインシデントが起こっているのか調査してみました。セキュリティインシデントとは、不正アクセスや情報漏えいなど、セキュリティ上の脅威となる事象を指します。
調査の結果、CenseというAI企業で、機密データを含む250万件の医療記録が流出した事例を見つけました。原因は、データストレージに対するアクセス制御に不備があったからだそうです。
AIの精度向上のためには、膨大な量の学習データが必要となります。ゆえにAI企業における情報漏えいのセキュリティインシデントは、ビジネスへ大きな悪影響を及ぼすことが予想されます。
とりわけ、学習データに個人情報を利用する場合は注意が必要です。個人情報はGDPR(EU一般データ保護規則)で厳格な保護方法が定められており、守らなければ巨額な制裁金を払うことになってしまうからです。
このように、AI企業において個人情報保護は重要な考慮事項の１つと言えます。
個人情報保護の視点 - DeepFakeの活用研究
続いて、AIセキュリティに関する研究を調査してみたところ、個人情報保護の文脈でDeepFakeを活用した研究を見つけました。DeepFakeを用いれば、学習に必要な膨大な量の本物の写真が不要となり、個人情報として扱わなくてよいためです。
ユヴァスキュラ大学のPrezja氏らは、変形性膝関節症のX線写真のDeepFakeを作成し、すべての学習データをDeepFakeに置き換えたところ、本物の変形性関節症のX線写真を分類する際のベースライン精度からわずか3.79%の損失しか生じなかったことを報告しています。
DeepFakeの活用は、前述したデータストレージのアクセス制御不備による個人情報漏えいを抜本的に解決する可能性が高いと言えるでしょう。
AI保護の視点 - AIを壊す現実的な攻撃手法の研究
DeepFakeの活用は「個人情報保護」が主眼の研究でした。
今度は「AI保護」が主眼の研究を探してみようと調査したところ、立命館大学の吉田氏らの解説論文を見つけました。本論文では、AIシステムやエッジAIデバイスに関する様々な攻撃手法が解説されています。
また、AI×セキュリティに特化した株式会社ChillStackでは、AIセキュリティ超入門と題したwebコラムが公開されていました。
2つの情報源において、「現実的な脅威となり得る非常に厄介な攻撃手法」と謳われていたのがConvex Polytope Attackという攻撃です。
この攻撃手法はAIセキュリティの未来予想に使えそうだと直感的に思い、深堀りしてみることにしました。
Convex Polytope Attackとはポイズニング攻撃の一種で、AIの学習データに複数の汚染データを混入し、モデルの誤認識を誘発するための攻撃です。
複数というのがポイントで、汚染データを頂点とする凸多面体（Convex Polytope）で誤認識させたいトリガーを囲むことで決定境界を歪めるため、歪みの異常が検出されにくいのが特徴となっています。
ちょっと難しい説明になってしまったので、実際に攻撃者はどのように攻撃するのかを説明していきますね。
攻撃者は、人の目には汚染されていることがわからない汚染データを、正常な学習データの中に「少しだけ」混ぜ込みます。汚染データを含む学習データで学んだモデルは、バックドアモデルと呼ばれ、正常な入力に対しての精度は、汚染データを含んでいない場合のモデルとほとんど変わりません。そのため、誰にも気づかれないまま、バックドアモデルがAIサービスとして公開される危険性があるんです。
未来予想 - 個人情報保護とAI保護のジレンマの発現
これまでの調査結果をもとに未来予想をまとめます。
膨大な量の学習データを有するAI企業にとって、個人情報保護は重要な考慮事項の1つである
抜本的な個人情報漏えい対策であるDeepFakeの利活用はニーズが高まり、手軽にDeepFakeを用いた学習データを作成し、公開する人が増える
汚染データを含むDeepFakeの学習データを配布する攻撃者が台頭してくる
企業は攻撃者の学習データを利用し、バックドアモデルがAIサービスとして公開されるが、ステルス性が極めて高いため、大問題に発展するまで気づけない
さいごに
以上、個人情報保護を重視すればするほど、AI保護の脅威となってしまうジレンマが発現する未来を予想してみました。
この記事がきっかけとなり、少しでも多くの皆さまにAIセキュリティについて興味を持っていただけたら嬉しいです。
最後までお読みいただき、ありがとうございました！
この記事が気に入ったらサポートをしてみませんか？