AI安全性と国家安全保障の対立
AI巡る規制と安全保障の整理
米議会の少なくとも一部議員は上院司法小委員会にてAGIが近い（数年以内）という可能性を明確に認識している。
24年6月最初には、元OpenAIのSuper Alignment teamのLeopold Aschenbrennerのエッセイで2027/28年頃のAGI実現とそれが国家安全保障上の脅威の高まりのきっかけとなることが語られ、その頃から公に数年以内のAGI実現を主張する研究者も増えてきた。（リンク先リプツリーにまとめてある。）
それに呼応するように今国家安全保障上の動きとフロンティアモデル規制の動きが同時に盛り上がっており、AIの安全性を重視する立場とAIの国家安全保障上の開発の加速を重視する立場が今対立しつつあると思われる。
しかし、今週フロンティアモデルを規制するSB1047がニューサム知事から拒否された。
これはAI Safetyを重視する立場の法案だが、それが拒否されたということは国家安全保障でAGI開発を加速する側にアメリカは傾いているということを意味すると思われる。本記事ではAI規制と安全保障について整理する。
フロンティアモデル規制の現状
AI Safety観点からの規制(sb1047とその挫折)
2023年10月にアメリカ大統領令が公布されて以来、10^26FLOPsを超える計算量で訓練されたモデルについては政府に安全性テストの結果を報告するように国防生産法で強制力が持たされている。
一方、国防生産法に反しても罰則はなかったが、今年2月に法案が提出されたカリフォルニア州法SB1047については民事訴訟を司法長官が起こせる。10^26FLOPsを超える計算量でトレーニングされたモデルかつ1億ドルを超えるコストがかかっている場合はこの法案の対象となり、セーフティーに関する合理的な注意を払う必要がある。大量の死傷者を出したり、5億ドル以上の損害を出す実質的なリスクがある場合は公にしてはいけない。24年9月30日までにカリフォルニア州のGavin Newsom知事が署名するかどうかが焦点になっていたが、それが拒否された。
このSB1047はAI Safetyの歴史的な流れを汲んだ動きと言える。AI Safetyに関する非営利組織のCenter for AI Safety所長のDan Hendricksがこの法案起草に深く関わっていることからもよくわかる通り、基本的には高度なAIがもたらす壊滅的なリスクを低減することがこの法案の目的となっている。Center for AI Safetyは明確に欧米の一部AI脅威論を展開する認識文化の流れにある組織であり、2023年にはAIのもたらす絶滅リスクを低減する必要性を声明で出している。
AI Safetyの流れを汲み、罰則もあったsb1047が州知事により拒否された事実はAI Safetyコミュニティからすると相当な痛手となるだろう。
国家安全保障上の観点からの規制
上記のようにAI Safety観点からの規制はSB1047を中心に展開されていたが、州知事によって拒否された。少し文脈を遡ると、事前にカリフォルニア州の共和党員で下院AIタスクフォースの議長は、カリフォルニア州のSB1047AI法案は「規制環境を非常に複雑にし」、イノベーションを阻害することになるだろうと警告していた。
また、OpenAIもSB1047は中国との米国競争力に国家安全保障から懸念をもたらすと批判している。その代わり、連邦レベルでの規制を望むと主張している。OpenAI CEOのサムアルトマンもAIは国家安全保障上の問題であり、明確に中国を念頭においてアメリカはAIでリードするべきとThe Washington Postで主張した。
つまりSB1047含むAI Safetyを巡る規制と国家安全保障を巡るアメリカ連邦政府レベルでの管理と開発の加速は対立関係にあったと思われるが、それが今回のニューサム知事の拒否で国家安全保障に優位な状況に傾いたと思われる。
フロンティアモデル規制への批判
一方で、AI Safety/安全保障観点からの規制には反対している立場もある。スタンフォード大学 Human-Centered AI Institute（HAI）所長のFei-Fei Li氏や Andrew Ng氏やYann Lecun氏は批判的だ。大雑把に言えばオープンソースコミュニティにおけるエコシステムが破壊され、イノベーションが阻害されてしまうという趣旨だろう。しかし、彼らは基本的にはAIがすぐに高度なAIになることを想定しておらず、また高度なAIシステムが開発されたとしても俗にいうAI Doomerの主張するような破滅的な結果にはならないと考える傾向にある。そのため国家安全保障を理由にSB1047を批判しているわけではなく、単純に学術研究の滞りを懸念しているのだろう。
AGI規制をめぐる立場
以下の丸山氏の資料内の図はこの三者からの観点をわかりやすく図式化している。
①がいわゆるAI Safetyを重視する立場の組織や人々でCenter for AI SafetyやGeoffrey Hinton、Yoshua Bengio、Stuart Russel、はたまたAI脅威論の認識文化を形作ったEliezer Yudkowskyも部分的に重なるだろう。
②には複数の立場が存在するかもしれない。e/acc、効果的加速主義と呼ばれる技術進歩をオープンに加速させるべきだという立場から国家安全保障を理由にAGI開発を加速させるべきだという立場(大雑把に言えばアメリカ連邦政府やOpenAIが該当するだろう)。
③には短いタイムラインのAGI開発やAI X riskといった言説に懐疑的な多くの研究者や政策立案者が入るだろう。
厳密に言えば、e/accとAGIリアリズムとLeopold Aschennbrener氏がいうような国家安全保障を動機としてAGI開発を加速させるAGIリアリズムと呼ばれる立場は違う。e/accはオープンソースを是とするのに対して、AGIリアリズムはクローズドで国家による管理を望むためだ。
しかし、常識的に考えれば国家は国家安全保障上の脅威に対処することを最重要課題として認識するだろう。そのため、このAI規制をめぐる議論は国家安全保障観点からの規制に流れていく可能性が今後も高いと思われる。
そして、SB1047が今回拒否され、AIを巡る国家安全保障の流れが未来に起こる可能性が高くなっているのだとしたら、その現状を整理していく必要があるだろう。
AI国家安全保障の現状
Enforce Act/オープンソースの終焉
アメリカ政府は2020年1月に半導体製造装置用の規制、2022年10月に先端半導体チップ自体の規制、2024年5月にEnforce Act法案でAIシステム自体の規制提案とAI規制を上流に伸ばしている。
まだ法律にはなっていないがこの中のEnforce Actが通れば、オープンソースAIの輸出規制の障害が取り除かれ、商務省にAIシステムを規制する明確な権限が与えられることになる。アメリカ政府は中国を主な競争相手として明確に国家安全保障の動きを近年加速させており、その範囲はハードウェアを超えてAIシステムそのものにまで広がりを見せようとしている。
まだ大統領令やSB1047が法律として承認されたとしても、オープンソースAIは禁止されていない。ただ報告義務があるだけだ。
しかし、Enforce Actが通れば高度なAIシステムをオープンソースにすることは法律的に禁止される可能性がある。
ここからアメリカ政府が管理できる高度なAIシステムだけを承認し、クローズドにAGI開発を進めることになっていく可能性が高いと思われる。
アメリカとUAEのAI提携
現状AIモデルはスケーリング則に従って性能を向上させている。そのスケーリングに必要になってくるのが大量の半導体と電力だ。また訓練済みのモデルを広く展開するのにも大量のデータセンターが必要になる。AGI開発には1000億ドル以上、数GW以上の電力が必要と推測されており、またAIシステムを広く配備するためには兆ドルスケールの投資が必要と見積もられている。
そのためアメリカ一国だけではAIモデルのスケーリングと配備を完了させることは難しく、UAEのような投資体力のある国と協力する必要が出てきている。
OpenAI CEOのサムアルトマンは去年頃からUAEに赴いた。初期はアメリカの電力だけでは足りないため、電力やお金の余っているUAEに目をつけ交渉。またその頃、TSMCに7兆ドルの計画を話し、TSMC関係者は余りにも馬鹿げていると感じたという。途中UAEは国家安全保障の懸念もあったが、米国がUAEと協力しなければ中国が代わりに協力するだろうとサムアルトマンは警告し、米国とUAEはAIで正式に協力することになった。UAEは米国とAIで協力するにあたり、UAEの新しいデータセンターは物理的に封鎖されており、中国のバックドアの可能性を回避するため、西側諸国製のハードウェアのみを使用してゼロから構築されている。
一方でエネルギー長官は外国からの投資を集め知的財産考慮した上で米国内にデータセンターは建設すべきだと述べており、AGIレベルの高度なAIシステムの稼働は米国内に限定される可能性もある。もしくはGPUキルスイッチをUAEデータセンターに設けてAGIに近いシステムを稼働する可能性もあるだろう。その場合は空母打撃群をUAE近くに派遣し、データセンターを警備する可能性もある。
いずれにしてもUAEは今後の高度なAIシステム以後の世界秩序を見通す上でアメリカに次いで相当重要な国になってくるだろうと思われるためウォッチが必須だ。（中東関連AIリプツリーでまとめている。）
AI版マンハッタン計画
OpenAIは24年9月に合計25GW以上、原発換算25基以上のデータセンターを中国と競争するため建設すべきとバイデン政権に主張している。AIトレンドを調査しているEpochAIでは以前gpt4の1万倍のスケーリングは5GW2030年までに必要と結論づけられており、その規模のデータセンターを5から7作ることが話されている。
またアメリカ政府はAIデータセンターインフラストラクチャに関する新しいタスクフォースを立ち上げ、米国エネルギー省 (DOE) は閉鎖された石炭火力発電所跡地の再利用情報をDC開発者に共有。米国陸軍工兵隊 (USACE) は、適格な AI データセンターの建設を促進する全国許可を特定し、その情報を AI DC開発者と共有して重要なプロジェクトを迅速化しようとしている。
また、米エネルギー長官はAI電力需要増加に対処は困難だという専門家の意見に対して、それに対処可能な「コンシェルジュサービス」を構築していると発言している。
これらからLeopold AschennbrennerエッセイのSituational Awarenessでも語られていたAI版マンハッタン計画が始まろうとしている可能性がある。
今後2020年代に起こり得ること
現状のAIシステムの性能向上を外挿すると、Situational Awarenessのグラフからおよそ10ヶ月で1OOMs(一桁)実効計算量のオーダーが増えることが予想される。
もしこれが本当ならば、このトレンドからGPT-3からGPT-4への飛躍と同程度の性能上の飛躍が2025年末までには起こる可能性があるだろう。その場合、2025年から26年頃からアメリカ政府は国家安全保障上の動きを大きくさせる可能性があると思われる。
例えば数年以内に、FLOPs数に基づいてAIモデルのオープンソース化を禁止する法案を提出したり、メガテックに対して中国やロシアのようなアメリカの仮想敵国となり得る国に対するクラウドを経由するAIシステムへのアクセスを禁止すること、そしてクラウドをレンタルすることも禁止されるかもしれない。既にEnforce Actでその萌芽が出始めている。
そして、2027年頃には1000億ドルスケールのコストをかけてAGIが開発される場合は完全にクローズドな環境でアメリカ軍やCIAによって研究施設や研究者の周辺環境が警備されるかもしれない。アメリカを中心として西側諸国がAGI開発で同盟を組み、UAEも半分同盟国のような形にして、中国やロシア、北朝鮮やイランといった国々と新たな冷戦を繰り広げることになる。
AGIを最初に開発した国が相当有利にその後の国際秩序を形成できる可能性があり、核兵器による抑止体制さえも高度なAIシステムを持ってすれば相手の核兵器を先制的に無力化することによって終わる可能性が指摘される。これに限らず高度なAIシステムは軍事上相当優位な状況を作り出せると思われるため、今後世界的にAGIを開発される前に相手国を先制攻撃したり、研究者を拉致監禁するインセンティブが高くなると思われる。
また現状アメリカの企業が開発するフロンティアモデルが半導体規制と人材の面の影響で中国より数年進んでいると見られるが、スパイもしくは研究者の誘拐などによりAIシステムの訓練手法を盗まれた場合はその差が数ヶ月レベルに縮まる可能性がある。そうすると、安全性を軽視した軍拡競争により人間ではなくAIのもたらすX riskも大きくなっていくかもしれない。今回SB1047法案が拒否されたが、そのような傾向が続けばリスクが高まる可能性もあるだろう。
つまり、もしAGIの実現が数年以内の場合は、我々の生きている世界秩序はもうすぐ終わり、2020年代後半から、国同士のAGI競争が激しくなり、戦争のエスカレーションリスクやAI起因の存亡リスクも高まり、人類史上類を見ない不安定な時代にこれから突入していくだろう。
また、規制は国家安全保障上の競争に留まらないかもしれない。現状のAIモデルのアーキテクチャは2年でおよそ実効計算量が1OOMs改善されている。その場合10年以内にはAGIに近いシステムを個人レベルで開発できるようになるかもしれない。
そして巻き起こるだろう議論は世界的監視と先制攻撃の是非と程度の話だ。ニックボストロムが脆弱な世界仮説として定式化したように、個人レベルで保有可能な技術が世界を滅ぼしてしまうかもしれない。その場合その個人や組織を先制的に攻撃したり、その前に予防原則から世界的な監視システムを構築することは是認されるだろうか？
このようにAGIが開発された場合、メリットだけではなく、人類社会に対する壊滅的な結果をもたらすリスクも多大なものになるだろうと思われる。
世界が急速に良くなる面も見えつつ、今後の世界では急峻に大きくなる国家安全保障とAIのミスアライメントの脅威、そして将来的には悪用リスクへの懸念という二つの大きな物語であるユートピアとディストピアが両居する20年代後半になるのではないか。