AIとサイバー脅威の状況：どれほど懸念すべきか？
人工知能が経済のほぼ全ての分野に破壊的な影響を与えそうな中、日和見主義的なサイバー犯罪者たちは、人工知能を悪意を持って利用する方法を試行錯誤している。2023年7月には、悪意のあるコンテンツを生成することに特化した大規模言語モデル(LLM)がダークウェブで販売されているという様々な報告があった。当記事では、サイバー保険の引受にて本日時点で126社のサイバーリスク分析をした私が、サイバー犯罪者がAIを利用する理由と方法について考察し、AIが脅威の状況をどのように変えるかをまとめた。関係者は是非参考にしていただきたい。
悪意のあるデータでトレーニングされた「ダーク」チャットボットの台頭
LLMとは、膨大な量の文字入力を用いてトレーニングされた生成系人工知能の一形態である。LLMはプロンプトに応答じ、人間のような品質のテキスト、画像、コード、または他のメディアを生成することができる。これらのツールの急速な発展は、悪意ある行為者が疑う隙もない説得力のあるフィッシングメールを作成したり、マルウェアをコーディングしたりするために、これらを利用するのではないかという懸念をセキュリティコミュニティから呼び起こした。2023年4月、欧州刑事警察機構（Europol）は、LLMを悪用してフィッシング・キャンペーンやその他のオンライン詐欺を「より迅速に、より真正に、より大規模に」行う可能性があると警告する報告書を発表した。
こうした懸念を受け、一般公開されている主要なLLMの開発者は急遽、チャットボットが応答するプロンプトに制約や制限を導入した。これには、倫理的制約を回避するために特別に設計された所謂「Jailbreak(脱獄)」プロンプトの閉鎖も含まれる。最初の商用利用可能なLLM であるOpenAIのChatGPTがリリースされた際、訓練の一環としてフィッシングメールを書くように頼むことが可能だった。現在、これらのチャットボットはたとえ教育的または架空の文脈で提示されたとしても「マルウェア」や「フィッシング」などの用語を含むプロンプトに従うことを基本的に拒否する。
7月上旬、サイバー犯罪者はこのような制約なしに設計されたChatGPTの「邪悪なクローン」と説明されるものへのアクセス権を販売し始めた。様々なダークウェブフォーラムへの投稿では、「WormGPT」へのアクセスをサブスクリプションベースで提供すると主張し、基本バージョンである「WormGPT v1」へのアクセスを月額100ユーロで、または「WormGPT v2」と名付けられたより高度なバージョンへのアクセスを年間550ユーロで提供していた。このツールは、フィッシングメールやコード・マルウェアを作成できることを明確に売り込んでいた。WormGPTの開発者を名乗るTwitterアカウントは、メディアの注目によって関心が急上昇したことを受け、価格を引き上げると述べた。
チャットボットはどれ程の脅威をもたらすのか？
現在、悪意のあるLLMの脅威について懐疑的になる理由はいくつかある。生成AIの能力は飛躍的に向上しているが、技術的な観点から見ると、ダークウェブで入手可能なWormGPTやその他類似のLLMがOpenAIやGoogleが開発した主要な商用LLMと同じレベルに近い性能を発揮できるとは考えにくい。この製品を宣伝しているフォーラムユーザーは、2021年にリリースされたオープンソースのLLMであるGPT-Jをベースにしていると発表した。GPT-Jとは、2021年にリリースされたオープンソースのLLMでGPT-4は勿論のこと、無料で利用可能なChatGPTのGPT-3.5よりもはるかに性能が低い。更に、LLMを実行するための計算コストも考慮しなければならない。WormGPTの運営者が利用可能なリソースを知ることはできないが、LLMを訓練し、大規模で実行するには膨大な計算リソースが必要となる。
そもそも倫理的であろうとなかろうと、何の制約もなくLLMにアクセスできることが脅威アクターにとってどれ程の意義や有用性があるのかは考えてみる価値はあるだろう。これらのツールは間違いなく良く練られたメールを作成することに長けているが、コードの生成に関しては、その出力は説得力に欠けることが多い。ChatGPTを使用してマルウェアを作成するための概念実証がいくつか行われているが、これらは知識豊富な開発者からの多大なインプットと手取り足取りが必要であり、実用性は限定的である。それほど強力でないLLMの出力が異なるとは考えにくい。
脅威アクターがLLMにアクセスすることで、フィッシングキャンペーンの精巧さにどのような影響があるのかを測定することは難しい。LLMの普及により、フィッシングメールにおけるスペルミスや文法ミスが減少したと主張されている。しかし、完璧な文言のフィッシングメールを作成できるようになったことが、攻撃の成功率向上にどれほど有益であるかは議論の余地がある。何故ならフィッシングメールを送る詐欺師は、（騙されやすい）被害者のもとへフィッシングメールを確実に届かせる可能性を高めるために、意図的にフィッシング・メールにスペルミスや文法ミスを入れる。スペルミスは、特定のキーワードやフレーズを探す従来のスパムフィルターを回避するのにも役立つ。
WormGPT自体は、ゲームチェンジャーというよりはギミックである可能性が高いが、その出現は、AIが将来サイバー脅威の状況を形作る様々な方法の指標となる。サイバー犯罪者のコミュニティにおける生成AIへの関心は、脅威アクターがLLMや他の形態の人工知能を実験する強い経済的インセンティブがあることを示している。
中期的にAIの悪意ある利用による脅威は何か？
ランサムウェア集団は高度に専門化されており、多額の資金を利用できる。また、その多くは敵対する国家政府と繋がりがあると考えられている。そのため、より技術的に高度で金銭的な動機のある脅威アクターは、AIの研究開発に積極的にリソースを投入すると考えるのが妥当である。このような事態がどのような形で起こるかを正確に予測することは難しいが、中期的にはLLMや他の形態のAIがより創造的な方法で利用されることが予想される。可能性のある展開としては、以下のようなものがある：
AIによる脆弱性特定が戦力増強に：
脅威アクターが企業ネットワークの脆弱性を特定し、初期アクセスを可能にするためにAIを活用し始める可能性が高い。この傾向を示すものとして、2023年5月にPentestGPTと呼ばれる自動化されたオープンソースの侵入テストツールキットがリリースされた。このツールは、ネットワークの脆弱性を特定するプロセスを効率化することができると報告されている。このツールは既に人間のハッカーが自分のスキルを試すために設計された、簡単で中程度の「キャプチャー・ザ・フラッグ」課題を解決できると主張されている。こうしたツールはまだ初期段階にあるが、機械学習がさらに進歩すれば悪意あるアクターがAIを活用して、これまで知られていなかった「ゼロデイ」脆弱性を特定できるようになる日も近いかもしれない。
声や身体ような生体認証データは、より創造的な方法で悪用されている：
脅威者は、洗練されたソーシャル・エンジニアリング攻撃を実行するために、クローン化された声や身体さえも使用する。現在では、わずか数分のスピーチから個人の声を確信的にクローン化することが可能であり、音声なりすまし攻撃はすでに発生している。2019年には、詐欺師がAIを使ってCEOの声を模倣し、不正送金を承認した。セキュリティ研究者も音声認識システムを騙してテレフォンバンクサービスにアクセスしたり、税金詐欺を働いたりしている。AIは近い将来、声だけでなく、その人の身体や物腰、動作パターンまでクローン化できるようになるだろう。リモートワークの時代には、チームの電話の向こう側にいるのが誰なのか、もはや信用できなくなるかもしれない。
組織は自らを守るために何ができるか？
このように急速に進化する脅威を考慮すると、組織は防御の武器に人工知能を確実に組み込むべきである。従来のシグネチャベースのウイルス対策ツールは急速に時代遅れになりつつある。最新のEDR（Endpoint Detection and Response）プラットフォームは、機械学習を利用して、その挙動に基づいてアクティブな脅威を検出する。また、メールフィルタリング技術もAIを活用し、技術的特徴に基づいて脅威を検出するため、より慎重に作成されたフィッシングメールでさえエンドユーザーの目に触れることはない。
勿論、防衛ツールにAIが導入されたとしても、批判的思考に代わるものはない。人間は最も脆弱な攻撃ベクトルの1つであり、十分な情報を得た上で従事する従業員は、防衛の重要な第一線である。