OpenAIの脅威レポートにはなにが書いてあったのか？

2024年6月1日 19:52

OpenAIは過去3カ月で5つのデジタル影響工作を停止した。今回公開されたレポートはその内容プラスαだ。

OpenAIだけでできることではなく、多くの組織の活動あってのことだ。EU Disinfolab、Meta、マイクロソフトのドッペルゲンガー調査、マンディアントとロイターのイランのデジタル影響工作調査、Graphika、ASPI、マイクロソフト、Meta、FBIのスパモフラージュ調査、DFRLabのZero Zeno調査をもとにしている。
このレポートで新しく発見されたのは、ロシアのBad Grammarである。なお、イスラエルのネット世論操作企業STOICはMetaとOpenAIの共同調査だったらしい。

Disrupting deceptive uses of AI by covert influence operations
https://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/

このレポートはベン・ニモがMetaからOpenAIに移籍してから最初のレポートとなる。彼のブレイクアウトスケールが全面的に分析に用いられている。

フェイクニュースは過去のものとなった　ベン・ニモの「THE BREAKOUT SCALE」
https://note.com/ichi_twnovel/n/n3ba289db07dc

●概要

・OpenAIのツールを利用した影響工作はほとんど効果がなかったと結論している。

OpenAIのレポートでとりあげられている5つの活動は下記である。

・Bad Grammar

ウクライナ、モルドバ、バルト三国、米国を標的にした作戦で、ロシア語と英語で短い政治的なコメントを作成し、Telegramに投稿していた。

・ドッペルゲンガー

ヨーロッパと北米を対象とし、英語、フランス語、ドイツ語、イタリア語とポーランド語などでミーム、ビデオ、リンクを拡散した。

・スパモフラージュ

このネットワークは世界中の視聴者、特に中国系移民や中国政府を批判するサイト。主に中国語でコンテンツを作成し、英語、日本語、韓国語で発信されていた。MetaおよびFBIの協力でOpenAIのアカウントを特定し、停止した。

・IUVM

親イラン、反イスラエル、反米国のウェブサイトコンテンツを作成するイランの活動。世界中のネット利用者をターゲットにし、英語と中国語を中心に展開。記事、見出し、ウェブサイトのタグ生成や校正にChatGPTを使用していた。

・Zero Zeno

イスラエル企業STOICが運営していた親イスラエル、反ハマス、反カタール、反BJP、反Histadrutのコンテンツを発信。カナダ、アメリカ、イスラエルをターゲットに英語とヘブライ語で発信。

・攻撃での利用傾向

過去からの戦術を効果的、効率的にするためにOpenAIのツールが使用されており、AIによる新戦略のようなものはなかった。具体的には、コンテンツ制作、エンゲージメントの偽装、生産性向上に利用されていた。

・防御での利用傾向

悪用を許さない防御設計、AIによる検出と分析、拡散の抑止、成果の共有、人的ミスに注意といったことがあげられていた。

●感想

このレポートそのものは興味深いし、関係者必読といってもよいと思う。
ただ、単純にAIの悪用ということだけなら、マイクロソフトの「Staying ahead of threat actors in the age of AI」（ https://www.microsoft.com/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/ ）の方がどこがなにをしているかレポートしている（ちょっと分野は違うけど）。たとえば、ロシアのGRU26165部隊のForest Blizzard (STRONTIUM)や、北朝鮮のEmerald Sleet (THALLIUM)がスピアフィッシングに使っているとか、イランのイスラム革命防衛隊（IRGC）のCrimson Sandstorm （CURIUM）がソーシャルエンジニアリングにAIを使っているとか。あれくらい解像度高いものを次は期待したい。

あと、効果のないことを行っている理由として、パーセプション・ハッキングとか考えられることをあげておいた方がいいと思う。

ここで言うことでもないけど、AIはそもそも中立でも公平でもないので、悪用されるのは当然だし、善用のつもりで悪い結果になることも多いと思うんだけど、だって学習に使っているデータのほとんどは欧米のもので、そこは欧米の価値感や世界観ばかりなわけでアジアの日本にとってよいものであるはずがない。顔認識で欧米はさんざん非白人の顔を識別できない問題でわかってると思うんだけど、自分たちの価値感に基づく世界を維持するためにわざとそうしているのかも。

好評発売中！
『ネット世論操作とデジタル影響工作：「見えざる手」を可視化する』（原書房）
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。