【連載#11】サイバーセキュリティにおける生成AI（攻撃サイド） | 異色転職者が伝える、実は面白いサイバーセキュリティ入門
サイバーセキュリティにおける生成AI （Part1: 攻撃サイド）
ポイント
✅生成AIは、サイバーセキュリティにも密接に関係。攻撃・防御サイド双方が多様な活用方法を考えており、生成AIによる新たな脅威と解決策がいたちごっこを続けている。
✅攻撃サイドで注目すべき生成AIの影響としては、①ソーシャルエンジニアリング技術の向上、②マルウェア作成の容易化、③生成AIを取り込んだマルウェアの登場。①については、ディープフェイクを用いた偽ビデオ会議に騙され、社員が38億円を詐欺グループに送金した事件も起きている。
1. 生成AIの台頭
今日、ニュースでも日常会話でもその名を聞かない日はない生成AI。既に私たちの日常業務や活動を大幅に便利にしてくれているが、その応用可能性は広がり続けている。
サイバーセキュリティの世界も生成AIと無関係ではない。業界ではもう長いこと、この技術の影響をどう捉え、そして活かすべきかが、ホットトピックとなっている。
技術が生み出されると、社会をより良くするためにそれを用いる人がいる一方で、それを独善的・悪意的なもののために利用しようとする人もいることは、歴史が示してきている。それがゲームチェンジャー的に有益な技術であれば尚更だ。
連載#10「サイバーセキュリティの基本概念（攻撃と防御）」では、攻撃と防御に分けて今日のセキュリティ事情について見たが、生成AIについてもその両面から影響を見てみたい。
サイバー空間の攻撃者たちは、「よくもまぁそんなところに目をつけるな」というくらい、あらゆる弱点や搾取方法を見つけては攻撃を仕掛けてくる。そんな彼らが、生成AIのように幅広い応用可能性を持つ技術を見逃すわけがない。Part1ではまず、こうした攻撃サイドの動きに注目しよう。
2. 攻撃サイド
生成AIがサイバー攻撃を進化させる主な例として、
ソーシャルエンジニアリング技術の向上
マルウェア作成の容易化
生成AIを取り込んだマルウェアの誕生
の３つを紹介する。
(1) ソーシャルエンジニアリング技術の向上
セキュリティの文脈でよく出てくる言葉に、「ソーシャルエンジニアリング」というものがある。これは、人の油断や焦りといった心理的状況を利用して、個人や組織の情報を巧みに得ることを指す。
その意味する範囲は広い。IDを忘れた社員のふりをして誰かにオフィスに入れてもらい、カード認証をパスするといった初歩的かつ物理的なものから、IT部門を装って緊急のメールを送りつけ、焦った社員から認証情報をゲットするといった高度なものまである。
ソーシャルエンジニアリングの最たるものが、連載#10「サイバーセキュリティの基本概念（攻撃と防御）」でも紹介したフィッシングだ。フィッシングは主にメールによる詐欺行為を指すが、声を装い電話で騙すヴィッシング（vishing）や、ショートメールで騙すスミッシング（smishing）など、騙す媒体は様々だ。
そしてこれらの手法が、生成AIにより非常に高度化していることが問題になっている。
かつてのフィッシングメールは、一目で不自然さが分かってしまうようなお粗末なものだった。特に海外の犯罪集団などによるものであれば、日本語のような特殊言語のメールは尚更おかしく、受診してもすぐにゴミ箱に入れることができただろう。
しかし生成AIの力を借りれば、大抵の言語について極めて自然な翻訳を行うことができ、他言語のメール文面すら一瞬で作成することができる。ボイスメッセージについても、ディープフェイクなどを用いて自然な人間の声を創出できてしまう。言語の壁をものともせず、それらしい文章や声を作って、世界の誰かを簡単に騙すことができるのだ。
事実、Accentureの調査によれば、ChatGPTの登場以来、フィッシング攻撃の件数は約1,265%も増加したとされる。さらに今年2月には、とある多国籍企業が、ディープフェイクを用いた詐欺により約38億円を送金してしまう事件も起こった。同社の会計担当は、極秘の送金指示とやらを受けて最初は不審に思ったものの、ビデオ会議に参加したCFOやその他社員が見慣れた顔であったため、指示を信じて送金を行った。お察しのとおり、そのビデオ会議に参加したすべての人物が、ディープフェイクによる偽物だった。
こんなにも精緻な生成AIのトリックが前提になる世の中で、私たちはどこまで疑うことを求められ、何を信じればよいのだろうか。
(フィッシング増加など、生成AIセキュリティに関するAccentureレポート👇)
(ディープフェイク詐欺による38億円送金に関する報道👇)
(2) マルウェア作成の容易化
生成AIによりマルウェアの作成自体が容易にできてしまう点も懸念されている。以前紹介したとおり、マルウェアとは、悪さをするコードが含まれたプログラムのことを指す。
生成AIツールにより、コードを書いたり修正したりするコストが一般的に大幅に下がっていることは有難いトレンドだ。だがそれは同時に、悪意のあるコードとしてのマルウェアを生成するコストも下がることを意味する。
もちろん、ChatGPTを始め大抵のツールには、悪意のある依頼をされても素直に結果を出力しないよう制限がかけられている。しかし、2023年7月、SlashNextというサイバーセキュリティ会社の研究員が、ダークウェブ上の犯罪者フォーラムで「WormGPT」と呼ばれる生成AIツールを発見した。
これはいわば倫理的な制限がかけられていないChatGPTであり、極めて自然かつ狡猾なビジネス詐欺メールを作成したり、マルウェアを生成したりできてしまう。この発見の数週間後には、「FraudGPT」という名の別の生成AIツールも発見されている。
(WormGPTやFraudGPTに関するSlashNextのブログ記事（英語）👇)
現状、これらの多くはフィッシング・ビジネス詐欺メール生成が主であり、コード生成については、そのまま使えるようなクオリティのものが常に出力されるわけではない。しかし、通常の生成AIツールの発展速度を見れば、自動出力されるマルウェアの精度が上がるのも時間の問題だろう。
(3) 生成AIを取り込んだマルウェアの誕生
最後に、少しSFチックだが、生成AIを自らに取り込んだマルウェアの登場を紹介する。
2023年7月、サイバーセキュリティ企業のHYAS社が、生成AI内蔵マルウェア「BlackMamba」を試験的に作成し、その能力に関するブログ記事を公開した。同社によると、BlackMambaは標的ネットワーク侵入後、自らを随時変化させながら感染を広げていき、検知をかいくぐって情報を盗み出すことに成功したという。
(HYAS社のBlackMambaを報告するブログ記事（英語）👇)
多くのセキュリティ製品は、既存のマルウェアに関する膨大なデータに基づき、マルウェアによく見られる特徴（「シグネチャ」と呼ばれる）を見つけることで検知を行う。しかしBlackMambaのような自己変成型マルウェアは、こうした検知をいとも簡単にすり抜ける。
実際、HYAS社が、広く使われている既存のセキュリティ製品を備えたシステムにBlackMamba攻撃を何度か仕掛けたところ、検知率はほとんどの場合0％だったという。
幸いなことに、まだ、BlackMambaのように高度なマルウェアによる攻撃が常態化しているわけではない。しかし、こうしたマルウェアが可能であると証明された今、企業がどんなに既存のセキュリティ製品を入れたとしても、あるいは監視に当たるセキュリティ人材を増やしたとしても、心許なさが残ってしまう。
日進月歩のサイバーセキュリティの世界に特効薬はないが、それでも、「目には目を、歯には歯を」ならぬ「AIによる攻撃にはAIによる防御を」。今日のセキュリティ業界では、既存のセキュリティ製品やアナリストの検知力では太刀打ちできない脅威に、生成AIのダイナミックな検知力で応じる動きが出てきている。Part2では、そうした防御の世界に焦点を当てよう。
（Part2につづく）