妄想の螺旋〜AIが意思決定を歪め、独裁者をより危険な存在にする理由〜

妄想の螺旋
〜AIが意思決定を歪め、独裁者をより危険な存在にする理由〜

ヘンリー・ファレル、エイブラハム・ニューマン、ジェレミー・ウォレス

人工知能をめぐる議論では、必ずと言っていいほど、中国と米国が技術的優位をめぐって争うことになる。重要な資源がデータであるならば、10億人を超える国民を抱え、国家による監視に対する保護が緩い中国が勝つ運命にあるようだ。有名なコンピュータ科学者であるKai-Fu Lee氏は、「データは新しい石油であり、中国は新しいOPECである」と主張している。しかし、もし優れた技術が優位に立つのであれば、世界的な大学制度と優秀な労働力を持つ米国にまだ勝機があると思われる。どちらの国でも、AIで優位に立てば、自ずと経済的・軍事的な優位に立つと考えるのが一般的である。

しかし、AIを覇権争いの観点から考えることは、AIが世界政治を変える、より根本的な方法を見逃している。AIは大国間の対立を一変させるのではなく、対立する国そのものを一変させる。米国は民主主義国家であるのに対し、中国は権威主義政権であり、機械学習はそれぞれの政治体制に独自の方法で挑戦する。米国のような民主主義国家に対する挑戦は、あまりにも目に見えています。機械学習は、政治的分裂を促進するためにオンライン世界を再編成し、分極化を促進する可能性があります。将来的には、説得力のあるフェイクスピーチを大規模に生成し、偽情報を増加させることは間違いないだろう。独裁体制に対する挑戦はより微妙なものだが、おそらくはより腐敗しやすい。機械学習は、民主主義の分裂を反映し、強化するのと同様に、独裁国家を混乱させ、偽りの合意形成を行い、手遅れになるまで社会の根本的な亀裂を隠蔽する可能性がある。

政治学者のハーバート・サイモンをはじめとするAIの初期のパイオニアたちは、AI技術が単純な工学的応用よりも市場、官僚制、政治制度と共通する部分が多いことに気づいていた。また、人工知能の先駆者であるノーバート・ウィーナーは、AIを「サイバネティック」システム、つまりフィードバックに反応し適応することができるシステムであると説明した。サイモンもウィーナーも、機械学習がAIを支配するようになるとは予想していなかったが、その進化は彼らの考え方と一致している。フェイスブックやグーグルは、機械学習を自己修正システムの分析エンジンとして使用しており、予測の成否に応じてデータの理解度を継続的に更新している。統計的分析と環境からのフィードバックの間のこのループが、機械学習をこれほど手強い存在にしたのです。

あまり理解されていないのは、民主主義や権威主義もサイバネティックなシステムであるということだ。どちらの統治形態でも、政府は政策を制定し、その政策が成功したのか失敗したのかを見極めようとする。民主主義国家では、投票と声によって、あるアプローチが本当にうまくいっているのかどうかが強力にフィードバックされる。権威主義的なシステムは、歴史的に良いフィードバックを得ることが非常に困難であった。情報化時代以前は、国内情報だけでなく、請願書や秘密の世論調査にも頼って、国民が何を信じているのかを探ろうとしていた。

今、機械学習が従来の民主的なフィードバック（声や投票）の形式を破壊しつつある。新しいテクノロジーは偽情報を容易にし、既存のバイアスを悪化させ、データに隠された偏見を取り込んで、自信を持って間違った主張に変換してしまうからである。一方、暗中模索している独裁者にとっては、機械学習は祈りに対する答えのように見える。このようなテクノロジーは、調査の手間も公開討論や選挙の政治的リスクもなく、支配者が自分たちのしていることを国民が気に入っているかどうかを教えてくれるのだ。このため、多くのオブザーバーは、AIの進歩は独裁者の手を強くし、彼らが社会をコントロールすることをさらに可能にするだけだと懸念している。

真実はもっと複雑だ。バイアスは、民主主義国家にとって目に見える形で問題になっている。しかし、目に見えるからこそ、市民は他の形のフィードバックによって、それを軽減することができる。例えば、ある人種が採用のアルゴリズムが自分たちに偏っていることを知ったとき、彼らは抗議し、ある程度の成功確率で是正を求めることができるのです。権威主義的な国も、民主主義的な国と同じぐらい、あるいはそれ以上に偏りが生じやすいと思われる。このような偏りの多くは、特に上層部の意思決定者からは見えないと思われる。そのため、たとえリーダーが是正の必要性を認識したとしても、是正することははるかに困難です。

従来の常識とは異なり、AIは、現実の世界をよりよく理解することを犠牲にして、彼ら自身のイデオロギーと幻想を強化することにより、独裁政権を著しく弱体化させることができる。民主主義国家は、AIに関して言えば、21世紀の重要な課題は技術的優位のための戦いに勝つことではないことに気づくかもしれない。むしろ、AIによって妄想の渦に巻き込まれた権威主義的な国々と戦わなければならないのだ。

バッドフィードバック

AIに関するほとんどの議論は、機械学習-データ間の関係を抽出する統計的アルゴリズム-に関連しています。これらのアルゴリズムは、推測を行います。この写真には犬が写っているか？この写真には犬が写っているのか？この中途半端な文章の次の単語は何だろう？いわゆる目的関数、つまり結果を得点化する数学的手段は、アルゴリズムが正しく推測した場合に報酬を与えることができる。このようなプロセスを経て、商業用AIは成り立っているのです。例えば、YouTubeは、ユーザーがより多くの動画を視聴し、広告を見続けられるように、ユーザーを魅了し続けたいと考えています。目的関数は、ユーザーのエンゲージメントを最大化するように設計されています。アルゴリズムは、ユーザーの目をページに向けさせるようなコンテンツを提供しようとする。その推測が正しかったか間違っていたかによって、アルゴリズムは、ユーザーが反応しそうなもののモデルを更新する。

機械学習は、人間がほとんど介在することなく、このフィードバック・ループを自動化することができるため、Eコマースのあり方を大きく変えました。しかし、この進歩はエンジニアの予想をはるかに超える困難な問題であることが判明している。自律型兵器の開発は、さらに困難な問題である。アルゴリズムは、本当に予期しない情報に遭遇したとき、その意味を理解できないことがよくある。人間が容易に理解できる情報であっても、機械学習が誤判定してしまうような情報、いわゆる「敵対的事例」があると、うまくいかないことがあるのだ。例えば、一時停止の標識に白黒のステッカーが貼られていると、自動運転車のビジョンシステムが標識を認識できなくなることがある。このような脆弱性は、戦時下におけるAIの有用性に明らかな限界があることを示唆している。

機械学習の複雑さを理解することは、技術的優位性についての議論を理解するのに役立つ。コンピュータ科学者のリーのような一部の思想家が、データが非常に重要であると考える理由も説明できる。データが多ければ多いほど、アルゴリズムの性能を素早く向上させることができ、決定的な優位性を獲得するまで、小さな変更に小さな変更を繰り返していくことができるのです。しかし、機械学習には限界があります。例えば、テクノロジー企業が巨額の投資を行っているにもかかわらず、アルゴリズムが人々にほぼ同じ商品を買わせる効果は、一般に理解されているよりもはるかに低い。浅い嗜好を確実に操作することは難しく、人々の深く抱いた意見や信念を変えることは、おそらくはるかに困難なのだ。

一般的なAIは、人間のようにある文脈から教訓を得て、それを別の文脈に適用することができるかもしれませんが、同様の限界に直面しています。ネットフリックスのユーザーの傾向や嗜好に関する統計モデルは、アマゾンのものとほぼ確実に異なっている。たとえ両者が同じような意思決定に取り組む同じ人たちをモデル化しようとしているとしてもだ。例えば、ティーンエイジャーが夢中になるような短い動画を提供する（アプリ「TikTok」の勝利）ようなAIのある分野での優位性は、自律型戦場兵器システムの構築のような別の分野での優位性には容易に結びつかない。アルゴリズムの成功は、技術そのものよりも、異なるアプリケーション間で教訓を翻訳できる人間のエンジニアに依存することが多いのです。今のところ、これらの問題は未解決のままです。

また、コードにバイアスが入り込むこともある。アマゾンが機械学習を採用活動に応用しようとしたとき、人間の採用担当者が評価した履歴書のデータでアルゴリズムを学習させた。その結果、人間の判断に含まれるバイアスをシステムが再現し、女性の履歴書を不利に扱ってしまったのです。このような問題は、自己強化につながる可能性があります。社会学者のルハ・ベンジャミンが指摘するように、もし政策立案者が警察の派遣先を機械学習で決定した場合、逮捕率の高い地域に多くの警察を配置するよう誘導し、その過程で、警察が偏見を示す人種集団がいる地域に多くの警察を派遣する可能性があります。そうすると、さらに逮捕者が増え、その結果、アルゴリズムが強化されるという悪循環に陥る可能性がある。

入力が出力に影響を与え、逆に出力が入力に影響を与える世界では、古いプログラミングの格言「garbage in, garbage out」は異なる意味を持つ。外部からの適切な補正がなければ、機械学習アルゴリズムは自らが生み出すゴミの味を覚えてしまい、誤った意思決定のループを生み出してしまう。政策立案者は、機械学習ツールを、解決しようとする問題を悪化させる可能性のある道具としてではなく、賢明で冷静な神託として扱っていることがあまりにも多い。

コール＆レスポンス

政治システムもまた、フィードバック・システムである。民主主義国家では、自由で公正であるべき選挙で、国民は文字通りリーダーを評価し、点数をつける。政党は政権を獲得し、それを維持することを目標に公約を掲げる。合法的な野党は政府の誤りを指摘し、自由な報道機関は論争や悪行を報道する。現職の政治家は有権者と定期的に向き合い、国民の信頼を得たか失ったかを学ぶ。このサイクルが絶え間なく繰り返される。

しかし、民主主義社会におけるフィードバックは完璧に機能するわけではありません。国民は政治を深く理解しているとは限らないし、自分たちの手に負えないことで政府を罰することもある。政治家とそのスタッフは、国民が何を望んでいるのか誤解しているかもしれない。野党には嘘や誇張をする動機がある。選挙に参加するにはお金がかかるし、実際の決定は密室で行われることもある。メディアは、偏った報道をしたり、消費者に有益な情報を提供することよりも、消費者を楽しませることに重きを置いたりすることがあります。

それでも、フィードバックは学習を可能にする。政治家は国民が何を望んでいるかを学びます。国民は、何が期待でき、何が期待できないかを学ぶ。人々は、政府の間違いを監禁されることなく率直に批判することができる。新しい問題が発生すると、新しいグループがそれを公表するために組織され、その問題を解決するために他人を説得しようとすることができる。これらすべてによって、政策立案者と政府は複雑で変化し続ける世界と関わっていくことができる。

しかし、独裁国家では、フィードバックの仕組みが大きく異なる。指導者は自由で公正な選挙によってではなく、冷酷な後継者争いとしばしば不透明な内部昇進制度によって選ばれる。政府への反対運動は形式的には合法であっても、時には残酷なまでに抑制される。もしメディアが政府を批判すれば、法的措置や暴力を受ける危険性がある。選挙は行われたとしても、現職に有利になるように組織的に調整されています。指導者に反対する市民は、組織化することが困難なだけでなく、発言することによって投獄や死など厳しい罰則を受ける危険性がある。このような理由から、権威主義的な政府は、世界がどのように動いているのか、彼らやその国民が何を望んでいるのか、よく理解していないことが多い。

前者を求めるあまり、権威主義的指導者は部外者による政治的意見の表明を封じ、後者を求めるあまり、世界や自国社会で何が起きているのかについてある程度の考えを持つ必要があるのだ。情報統制が厳しいため、権威主義的指導者は民主主義的指導者のように市民、メディア、野党の声を頼りにして修正的なフィードバックを行うことができない。その結果、政策が失敗し、長期的な正統性と統治能力が損なわれる危険性がある。例えば、ロシアのプーチン大統領は、ウクライナへの侵攻を決定したが、これはウクライナの士気と自軍の戦力を正確に評価していなかったことが原因であったようだ。

機械学習が発明される以前から、権威主義的な支配者は、国民のフィードバックの粗雑で不完全な代用品として定量的な指標を使用していた。中国は数十年にわたり、分散化された市場経済と、GDPをはじめとするいくつかの重要な統計の中央集権的な政治監視を組み合わせようとしていた。例えば、中国では数十年にわたり、地方分権的な市場経済と、GDPをはじめとするいくつかの重要な統計の中央集権的な管理を組み合わせてきた。しかし、北京の限られた数値化されたビジョンは、汚職、負債、公害などの膿んだ問題に取り組むインセンティブをほとんど与えなかった。当然のことながら、地方の役人たちは、短期的にGDPを上げるために統計を操作し、長期的な問題を後任に託すような政策をとることが多かった。

世界がこの動きを垣間見たのは、2019年末に湖北省で始まったCOVID-19のパンデミックに対する中国の初動だった。中国は2003年のSARS危機を受け、インターネットを利用した疾病報告システムを構築していたが、湖北省の省都である武漢の地元当局はそのシステムを利用せず、「SARSに似た」伝染病の存在を最初に報告した医者を処罰したのだ。武漢市政府は、北京の重要な政治会議が終わるまで、「新たな感染者は出ていない」と言い続け、北京に情報が伝わらないように努めた。そして、2月7日、医師の李文良（りぶんりょう）が発症し、死亡した。

その後、北京はパンデミックへの対応を引き継ぎ、強制的な手段で患者数を抑制する「ゼロCOVID」方式を採用した。この政策は短期的にはうまくいったが、オミクロンの感染力が非常に強いため、COVIDゼロ政策はますます不成功に終わり、大規模な封鎖が必要となり、人々は飢え、経済は混乱した。しかし、感染者数を低く抑えるという、粗雑ではあるが重要な指標を達成することには成功した。

データは、選挙や自由なメディアのような政治的リスクや不都合を伴わずに、世界とその問題を説明する客観的な指標を提供するように思われる。しかし、政治性を排除した意思決定などあり得ない。民主主義の混乱とフィードバックプロセスの狂いは、米国政治に関心を持つ人なら誰でも分かることだ。独裁国家も同じような問題を抱えているが、すぐに分かるものではない。役人が数字をでっち上げたり、市民が怒りを大規模な抗議行動に移さないことは深刻な結果を招き、短期的には誤った決定をしやすくなり、長期的には政権の失敗を招きやすくなるのである。

それは罠か？

最も緊急な問題は、米国と中国のどちらがAIの支配をめぐる競争で勝つか負けるかということではありません。それは、民主主義国家と独裁国家が社会を統治するために依存しているさまざまなフィードバックのループを、AIがどのように変化させるか、ということである。多くのオブザーバーは、機械学習がよりユビキタスになれば、必然的に民主主義を傷つけ、独裁主義を助けることになると指摘している。彼らの見解では、例えば、エンゲージメントを最適化するソーシャルメディアのアルゴリズムは、市民のフィードバックの質を損なうことで民主主義を弱体化させる可能性がある。YouTubeのアルゴリズムでは、人々が次々と動画をクリックすると、衝撃的で警鐘的なコンテンツが提供され、人々の関心を引きつけます。こうしたコンテンツには、陰謀論や極端な政治的見解が含まれることが多く、市民をすべてがひっくり返った暗いワンダーランドに誘い込むのです。

一方、機械学習は、国民をよりコントロールしやすくすることで、独裁国家を助けると考えられている。歴史家のユヴァル・ハラリをはじめとする多くの学者が、AIは "専制政治を助長する "と主張している。この陣営によれば、AIはデータと権力を一元化し、指導者は一般市民の "感情的なボタン "を押すように計算された情報を提供して、一般市民を操作できるようになるという。このフィードバックとレスポンスの無限の反復プロセスが、目に見えない効果的な社会統制を生み出すと考えられている。この説明では、ソーシャルメディアは権威主義的な政府が国民の鼓動をつかむと同時に、国民の心をつかむことを可能にする。

しかし、こうした議論は不確かな基盤の上に成り立っている。フェイスブック内部からのリークによれば、アルゴリズムは確かに人々を過激なコンテンツに導くことができるが、最近の調査によれば、アルゴリズムそのものが人々が探しているものを変えることはない。YouTubeの過激なビデオを検索する人たちは、彼らが望むものにより多く誘導される可能性が高い。しかし、すでに危険なコンテンツに興味を持っていない人たちは、アルゴリズムの推奨に従わない可能性が高いのだ。民主的な社会でフィードバックがどんどんおかしくなっても、機械学習が全面的に悪いわけではなく、手を貸したに過ぎないだろう。

機械学習が、民主主義を空洞化させ、権威主義を強化するような、一般化されたマインドコントロールを可能にするという良い証拠はない。アルゴリズムが人々に物を買わせるのにあまり効果的でないとすれば、政治のような密接に抱かれた価値観に触れる事柄について考えを変えさせるのは、おそらくもっと苦手だろう。英国の政治コンサルティング会社であるケンブリッジ・アナリティカが、2016年の米大統領選をドナルド・トランプのために修正するために何らかの魔法のような技術を採用したという主張が、解明された。トランプ陣営に提供された同社の秘密のソースとされるものは、標準的な心理測定ターゲット技術（性格調査を用いて人々を分類すること）で構成されていたようで、その有用性は限られていた。

実際、完全自動化されたデータ主導の権威主義は、隔離されたごく少数の意思決定者に権限を集中させる中国のような国家の罠にはまるかもしれない。民主主義国家には修正メカニズム、つまり、政府が軌道から外れた場合にチェックすることができる代替的な市民のフィードバックがある。権威主義的な政府は、機械学習をさらに推し進めるため、そのようなメカニズムを持っていない。ユビキタスな国家監視は短期的には効果的だが、権威主義的な国家は、機械学習が促進する自己強化型バイアスの形態によって弱体化する危険性をはらんでいる。国家が機械学習を広く採用するようになると、指導者のイデオロギーが、機械学習の使用方法、最適化する目的、結果の解釈方法を形成するようになる。その過程で出てくるデータは、指導者の偏見をそのまま反映したものになる可能性が高い。

技術者のマチェイ・チェグロフスキーが説明するように、機械学習は「偏見のマネーロンダリング」であり、「現状に論理的必然性のオーラを与えるクリーンで数学的な装置」なのである。例えば、国家が機械学習を使ってソーシャルメディア上の苦情を発見し、それを削除するようになると、何が起こるでしょうか。指導者たちは、たとえそれが政権に損害を与えるものであったとしても、政策の誤りを見抜き、是正することが難しくなるだろう。2013年に行われたある研究では、中国がネット上の苦情を削除するのが予想以上に遅かったのは、まさにそうした苦情が指導者にとって有益な情報を提供していたからだと推測されています。しかし、北京が社会の調和をますます重視し、高官を守ろうとする今、そのような手加減のないアプローチを維持することは難しくなるだろう。

習近平国家主席は、少なくとも一部の政策領域において、こうした問題を認識している。習近平主席は以前から、農村部の貧困を解消するための反貧困キャンペーンは、スマートテクノロジー、ビッグデータ、AIを活用した特徴的な勝利だと主張してきた。しかし、彼はこのキャンペーンに欠陥があることを認めている。例えば、役人が貧困統計をごまかすために、人々を農村の家から追い出し、都市のアパートに住まわせたケースなどである。再定住した人々が再び貧困に陥る中、習近平は、貧困レベルの「一律の定量目標」が将来的に正しいアプローチとはならないかもしれないと懸念している。データは確かに新しい石油かもしれないが、政府の統治能力を高めるというより、むしろ汚染してしまうかもしれない。

この問題は、中国のいわゆる社会信用システムにも影響を与える。社会的行動を記録する一連の制度は、欧米のコメンテーターによって、「人権を侵害するAI搭載の監視体制」として完璧に機能していると描かれているのだ。シャゼダ・アーメドやカレン・ハオといった情報政治の専門家が指摘しているように、この制度は実際には、もっと厄介なものだ。中国の社会的信用システムは、実は完璧なオーウェル的ディストピアというよりも、公正信用報告法などの法律で規制されている米国の信用システムに近いように見える。

機械学習が進めば、権威主義的な政権が悪い判断を倍加させることにもなりかねない。もし機械学習が逮捕歴に基づいて反体制派の可能性を特定するように訓練されれば、民主主義国家で見られるような自己強化型のバイアスを生み出す可能性が高い。つまり、好ましくない社会集団に関する管理者の信念を反映・肯定して、自動的な疑惑と反発を否応なく永続させる。民主主義国家では、たとえ不完全であったとしても、国民の反発は可能である。独裁的な体制では、抵抗ははるかに困難です。抵抗がなければ、こうした問題は、当局者とアルゴリズムが同じ偏見を共有するシステム内部の人々には見えません。そうでなければ、これらの問題はシステム内部からは見えず、役人やアルゴリズムが同じ偏見を共有することになる。これは良い政策ではなく、病理、社会的機能不全、憤り、そして最終的には不安と不安定を増大させることになる。

武器化するAI

AIの国際政治は、単純な覇権争いを生み出すものではないだろう。この技術は経済・軍事兵器であり、データこそがその動力源であるという粗野な見方は、実際の行動の多くを隠蔽している。実際、AIの最大の政治的影響は、民主主義国と権威主義国の両方が依存するフィードバック・メカニズムに対するものだ。多くの人が指摘するほど大きな役割を担っているわけではないが、AIが民主主義国のフィードバックを阻害していることを示す証拠もある。対照的に、権威主義的な政府が機械学習に頼れば頼るほど、自らの技術で拡大した偏見に基づく想像の世界へと突き進んでいくことになる。政治学者ジェームズ・スコットの1998年の名著『Seeing Like a State』では、20世紀の国家が、官僚的なカテゴリーとデータだけを通して世界を見ることができたために、自らの行動の結果がいかに見えなくなっていたかが説明されている。社会学者のマリオン・フォルケードらが論じたように、機械学習は同じ問題を提示するかもしれないが、その規模はさらに大きくなる。

この問題は、米国のような民主主義国家にとって、まったく異なる国際的な課題を生み出す。例えばロシアは、ロシア国民の間に混乱と動揺をもたらすことを目的とした偽情報キャンペーンに投資する一方で、同じツールを民主主義国家に適用しています。言論の自由の擁護者たちは、悪い言論に対する答えは言論の拡大であると主張してきましたが、プーチンは言論の拡大に対する最善の答えは悪い言論の拡大であると判断したのです。そして、ロシアは民主主義国のオープン・フィードバック・システムを利用して、誤った情報で民主主義国を汚染したのである。

急速に浮上している問題の1つは、ロシアのような独裁国家が、大規模な偽情報を生成するために、言葉の指示に反応してテキストや画像を生成できる新しいタイプのAIである大規模言語モデルをどのように武器化するかということである。コンピュータ科学者のTimnit Gebru氏とその同僚が警告しているように、Open AIのGPT-3システムのようなプログラムは、通常の人間の文章と区別するのが難しい、一見流暢な文章を作成することができます。オープンアクセスの新しい大規模言語モデルであるBloomは、誰でも使えるように公開されたばかりである。そのライセンスは悪用を避けることを要求しているが、取り締まりは非常に困難であろう。

このような発展は、民主主義国家におけるフィードバックに深刻な問題をもたらすだろう。現在のオンライン政策コメントシステムは、コメントした人が本物の人間であるかどうかを証明する必要がほとんどないため、ほぼ間違いなく破滅的である。大手通信会社の請負業者は、ネット中立性法に反対するキャンペーンの一環として、盗んだ電子メールアドレスにリンクした偽のコメントですでに米国連邦通信委員会を賑わせた。それでも、ほぼ同じコメントが何万件も投稿されれば、裏技を見破ることは容易だった。現在、あるいは近い将来、大規模な言語モデルに、例えばネット中立性を非難する有権者のスタイルで2万件の異なるコメントを書かせることは、些細なことですが簡単なことでしょう。

人工知能がもたらす偽情報は、独裁国家にとっても毒となる可能性がある。権威主義的な政府が国民的議論に偽情報の種をまくと、反対派を分断することは容易になるが、国民が実際に何を信じているかを見分けることは難しくなり、政策決定プロセスが非常に複雑になる。権威主義的な指導者たちは、国民が不人気な政策を容認し、あるいは好んでいると信じ込まされ、自分たちの供給する情報でハイになることを避けることがますます困難になる。

共有される脅威

中国のような権威主義的な国家が、自らの不健全な情報フィードバックループにますます囚われるようになったら、世界を共有することはどのようなことになるだろうか。こうしたプロセスがサイバネティックなガイダンスを提供することをやめ、代わりに支配者自身の恐怖や信念を反映するようになったらどうなるのだろうか。民主主義の競争相手による自己中心的な反応の1つは、独裁者を放置し、権威主義的政府を弱体化させるものはすべて純益と見なすことであろう。

しかし、このような反応は人道的破局を招きかねない。ウイグル人に対する政策など、中国国家の現在の偏向の多くは積極的に悪意を持っており、はるかに悪化する可能性がある。1959年から1961年にかけて約3000万人が死亡した大飢饉は、イデオロギーに基づく政策によって引き起こされ、地方の役人が正確な統計を報告しようとしなかったことで隠蔽された。中国や他の国々でAIが引き起こす外交政策の破滅の危険性は、熱心な皮肉屋でさえも認識すべきことである。例えば、AIはナショナリストの偏見を増幅させることで、領土征服を目指すタカ派を簡単に強化することができる。

さらに皮肉なことに、欧米の政策立案者は、権威主義的な情報システムの閉じたループを利用する誘惑に駆られるかもしれない。これまで、米国は独裁的な社会におけるインターネットの自由を促進することに重点を置いてきた。それどころか、こうした体制が陥りやすい偏向ループを強化することで、権威主義的な情報問題を悪化させようとするかもしれない。行政データを改ざんしたり、権威主義的なソーシャルメディアに誤報を流したりすることで、そのようなことが可能になる。残念ながら、民主主義体制と独裁体制を隔てる仮想の壁は存在しない。悪いデータやおかしな信念が権威主義的な社会から民主主義的な社会に漏れる可能性があるだけでなく、ひどい権威主義的な決定が民主主義国にも予測できない結果をもたらす可能性がある。政府がAIについて考えるとき、私たちは相互依存の世界に生きており、権威主義的な政府の問題が民主主義国家に連鎖する可能性があることを認識する必要がある。

そして、より知的なアプローチとして、国際的なガバナンスの取り決めを共有することで、AIの弱点を緩和することが考えられる。現在、AIを規制するための適切な対応について、中国国家のさまざまな部分が意見を異にしている。例えば、中国のサイバー空間管理局、情報通信技術研究院、科学技術部は、いずれもAI規制の原則を提案している。その中には、民間企業を制限し、政府の自由裁量を認めるようなトップダウン型のモデルを支持する人もいる。また、少なくとも暗黙のうちに、政府にとってもAIが危険であることを認識している者もいる。国際的に広範な規制の原則を策定することは、AIの政治的リスクに関する知識を広めるのに役立つかもしれない。

このような協力的なアプローチは、米中間の対立が激化している状況下では奇妙に思えるかもしれない。しかし、慎重に調整された政策は、米国とその同盟国にとって良い結果をもたらすかもしれない。一つの危険な道は、米国がAIの支配をめぐる競争に巻き込まれ、競争関係をさらに拡大させることである。もうひとつは、権威主義のフィードバック問題を悪化させようとすることだ。どちらも大惨事と戦争の可能性があります。それなら、すべての政府がAIに共通するリスクを認識し、それを軽減するために協力する方がはるかに安全だ。