米中AI競争が戦争につながる可能性 | シハオ・ファン

※長文のため、テキスト読み上げ機能の使用を想定しております。各OS標準搭載の「読み上げコンテンツ」、Microsoft Edgeの「音声で読み上げる」、Safariの「ページの読み上げを聞く」などをおすすめします。

シハオ・ファン: このような状況を想像してみてください。2040年になり、AIシステムが人間とほぼ同等の能力を持つ一般的な能力の閾値に近づいているという感覚があります。そのため、AIは科学技術のイノベーションを加速し、AI研究を始め、トレーニングから得た計算能力の余剰を利用して大規模に展開できるようになります。
さて、この決断をするかどうか、どのように判断すればいいでしょうか。なぜなら、一度この決断をしたら、物事が本当に、本当に速く進むことになるからです。中国がこれを実行する立場にある場合、世界の他の国々と話し合うことなく単独でボタンを押すようなことがないよう、確実にする必要があります。
また、アメリカがこれを行う場合、中国が先に核攻撃をしかけないような状況にする必要があります。なぜなら、中国の意思決定者がこの状況を見て、「これによってアメリカが人類の歴史上永遠に支配的な立場になってしまう。彼らを壊滅させるチャンスを取るべきだ」と考えるかもしれないからです。
ルイーザ・ロドリゲス: リスナーの皆さん、こんにちは。ルイーザ・ロドリゲスです。80,000 Hoursポッドキャストのホストの一人です。今日のエピソードは、中国のAIの現状について深く掘り下げます。AIがどれほど高度なのか、中国のAIガバナンスはどのようなものか、そして中国のAI開発と展開が存在論的リスクをどの程度もたらすかについて取り上げます。
具体的には以下のトピックをカバーします:

現在の中国のAIシステムの能力
中国でAIが監視や権威主義的統制にどのように使用されているか
中国の現在のAI規制の状況 - それは本当に安全性へのコミットメントを示しているのか、それとも単なる情報統制なのか
米国の輸出規制が中国のAI開発に与える影響、そして中国が独自の半導体サプライチェーンを構築してそれを回避できるかどうか

その他にもたくさんのトピックを取り上げます。
それでは、シハオ・ファンさんをお迎えしましょう。シハオさんは2023年のマーシャル奨学生で、RANDのテクノロジー・安全保障政策フェローとして半導体政策に取り組んでいます。また、オックスフォード大学の博士課程に在籍しており、2022-2023学年度はシュワルツマン奨学生として北京で産業政策と米中問題を研究しました。
ポッドキャストにお越しいただき、ありがとうございます。
シハオ・ファン: お招きいただき、ありがとうございます。このポッドキャストの大ファンです。
ルイーザ・ロドリゲス: そう言っていただき、うれしいです。中国のAIの能力の現状や、米国のチップ輸出規制、中国のAIガバナンスについてお話ししたいと思います。まず、少し背景をお聞きしたいのですが、差し支えなければ、あなた自身と中国との関係についてお聞かせいただけますか。
シハオ・ファン: 私は中国の広州で生まれました。広州は南部にある人口約2000万人の小さな都市です。シンガポールで育ち、台湾にも多くの家族がいますが、最終的にニューヨークに移り住みました。現在は米国の政策に関わる仕事をしています。また、昨年は幸運にも中国の北京で研究をする機会がありました。ChatGPTが登場し、現地の政策立案者たちがそのニュースに慌てて反応し、多くのAI規制を出したり、半導体政策を変更したりしていた時期でした。
ルイーザ・ロドリゲス: AIポリシーについて考える上で、とても興味深い時期に滞在されたのですね。では、本題に入りましょう。一部の人々は、西側諸国が特に超人的AIを開発する競争を中国と繰り広げていることを懸念しています。なぜなら、最初に開発した側が莫大な経済的・軍事的優位性を得る可能性があるからです。米国や英国と中国の間にそのような競争があると思いますか。
シハオ・ファン: 競争のダイナミクスが存在することは間違いなく懸念されますが、実際の状況はかなり複雑だと思います。例えば米国を見ると、多くの国家安全保障関係者がこの競争の枠組みに動機づけられています。そして、ある意味でそれは正当化されると思います。つまり、強力なAIシステムが説明責任を果たし、民主的な国によって安全かつ倫理的に開発され、その恩恵が国際的に分配されることを確実にしたいのです。
また、中国の深センのようなところの人々と話をすると、中国のエンジニアたちはかなり不安を抱えており、米国に追いつこうと懸命に努力しています。そして、中国政府はこのテクノロジー競争に「勝つ」という考えに強く動機づけられています。
しかし、実際にAIを開発している人々と話をすると、例えばDeepMindの平均的なエンジニアに聞いても、毎日BaiduやAlibabaのAIベンチマークのことを考えて「中国に勝つためにこれをやるんだ」とは思っていないでしょう。最大の競争相手は、おそらく通りを挟んだAnthropicやOpenAIの人々です。
ルイーザ・ロドリゲス: なるほど。つまり、競争のダイナミクスは確かに存在しますが、少なくとも西側のエンジニアにとっては、西側と中国の間の競争ではなく、西側内部の企業間の競争なのですね。一方で、中国のエンジニアたちは自分たちがこの競争に参加し、追いつこうとしていると考えているようです。
競争に参加することのデメリットは何でしょうか。ある程度競争状態にあるとして。
シハオ・ファン: 最大のデメリットは無謀な開発です。両者が安全性を犠牲にしたり、社会が受け入れられるかどうか、最悪の外部性を防げるかどうかを確認せずに、変革的なAIシステムの構築を急いだりしないようにしたいのです。
オッペンハイマーを観た人なら、オッペンハイマーが「世界を破壊する可能性のある連鎖反応を引き起こすかもしれない。しかし、実際にそうならないことを確認するために何度も計算を繰り返す時間はない。なぜなら、潜在的に強力な核プログラムを持つナチスとの競争に勝たなければならないから」と言及した有名なシーンを覚えているでしょう。これは恐ろしい状況であり、確実に起こらないようにし、コミュニケーションを取る必要があります。
これは少し抽象的に聞こえるかもしれませんが、実際には多くの具体的な形で現れる可能性があります。例えば、近い将来の軍事システムにおけるAIの開発が考えられます。両者が軍事的指揮系統のより大きな部分を自動化し始めたり、人間のシステムよりも著しく信頼性の低い自律型兵器システムを展開したりすることを強いられないようにしたいのです。ただし、それらのシステムは高速であるため、戦場で大きな優位性をもたらす可能性があります。
例えば、非常に信頼性の低いシステムがあるとします。時々、使用者を殺してしまったり、意図せずに標的を殺してしまったりするかもしれません。しかし、人間の反応時間が分単位であるのに対し、このシステムの反応時間はわずか1秒か100ミリ秒だとします。そうなると、中国がこのようなシステムを展開した場合、米国も戦場での優位性を維持するためにそれを展開せざるを得なくなるかもしれません。しかし、両者とも、意図せずに武力紛争を引き起こす可能性のある、非常に危険なAIシステムを展開したくはないはずです。
これは囚人のジレンマのように考えることができます。ここには協力の問題があります。両者は本当は協力したいのですが、デフェクト/デフェクトの状況に陥ってしまいます。なぜなら、局所的な意思決定では、相手側が同じことをしないという保証がないため、これらの高度なAIシステムの構築を急ごうとする方が有利だからです。
ここでの大きな問題は、個々の人間が望まないような進化的な未来に向かって突き進まないようにすることです。しかし、利得行列の構造が彼らの手を縛ってしまうのです。ですので、このAI競争における調整問題について考える必要があります。これは、継続的な害や潜在的なAIシステムの展開、より強力なAIの構築という観点からだけでなく、最終的に、知能爆発の一時停止をどのように調整し、すべての国がこのプロセスに代表されることをどのように確保するかという点でも考える必要があります。
ルイーザ・ロドリゲス: なるほど。それではそのコストについて、そして潜在的に非常に大きな影響を与える可能性があることについて説明していただきました。最良のシナリオでも、軍事的文脈でAIを安全に展開する準備ができる前に展開することになります。最悪のシナリオでは、一方がスーパーインテリジェントAIの社会的影響を適切に考慮せずに展開してしまう可能性があります。
競争に参加することを避ける方法はありますか。
シハオ・ファン: 主に3つの方法があると思います。1つ目は、競争相手に対して厳密に優位に立つことです。そうすれば競争は存在しなくなります。これは、米国が現在の輸出規制政策などを通じて推進すべきことだと思います。これらの政策によって、中国の背後に気を取られることなく、AIの開発を遅らせ、AIシステムを規制することが可能になったと思います。私たちが直接的に競争のダイナミクスにあると認識していない理由は、このギャップを開くことができたからです。
2つ目の方法は調整です。同時に中国と対話を行い、両者が同じようにリスクを認識していることを確認し、意思決定にこれらのリスクを内在化させ、さらにギャップが縮まった場合に両者がエスカレートしないようにするためのコミットメントメカニズムを作成する必要があると考えています。
これらのコミットメントメカニズムは、異なる問題領域を結びつけるようなものかもしれません。囚人のジレンマの比喩に戻ると、他のゲームの利得行列を結びつけることができれば、デフェクト/デフェクトの状況に陥らない可能性があります。これが外交の本質です。異なる問題領域で譲歩し合い、希望的にはより効率的なパレート最適な結果に達することができます。
私が非常に興味を持っている別のコミットメントメカニズムのセットは、実際に検証を行い、社会の信頼を高める技術的ガバナンスメカニズムを構築する方法です。Lennart [Heim]が80kのポッドキャストで計算ガバナンスメカニズムについて多く話していたと思います。例えば、相手側が以前に合意した閾値を超える先進的なAIシステムを開発しているかどうかをチェックする方法や、これらのAIシステムが特定の能力や特性を持っているかどうかをチェックする方法を持ちたいと思います。
そして3つ目の方法は、競争相手に対して、あなたが「競争」に勝つか、最初に変革的なAIに到達した場合でも、それは彼らにとってそれほど悪いことではないということを証明することです。これはしばしば軽視されがちです。例えば、安全なAI開発を国家間のゼロサムゲームではなく、人類の集団的な努力としてとらえるような制度的メカニズムや市場メカニズズムにコミットするための信頼できる方法を考える必要があります。
例えば、中国に対して「変革的なAIシステムを構築するために米国と競争するために、経済システム全体を変更したり、国民のための優先事項を犠牲にしたりする必要はない」と伝えるかもしれません。なぜなら、米国が最初に開発した場合、AIの恩恵を国際社会と共有し、これらのAIシステムを責任を持って開発するからです。つまり、外交政策やAIガバナンスに関する立場において、このようなAIの恩恵共有について信頼できる明確なシグナルを発することが重要だということです。
ルイーザ・ロドリゲス: 具体的に、そして簡潔に言えば、中国政府に対して、これらの恩恵が共有されること、または彼らの価値観が保護されることを保証するために使用できるシグナルの例は何でしょうか。
シハオ・ファン: 近い将来、これは主にグローバル・マジョリティへの関与政策に関わってくると思います。例えば、危険なAIシステムの拡散を非常に懸念しているが、同時にAIへのアクセスの公平性を確保し、AIの先進的開発国ではない国々の経済にAIを活用し統合するための能力構築にも同様にコミットしていると言うことです。
これは特に重要な外交政策の動きだと思います。なぜなら、中国はAIに関する米国の政策を批判するために、グローバル・サウスの旗印を掲げているという物語に本当に傾倒しているからです。これの多くは必ずしも真実ではなく、またグローバル・サウスの最善の利益にはならないと思います。歴史的に見て、中国が開発した多くの技術を輸出し、例えば権威主義的イデオロギーを輸出したり、あるいはグローバルな経済発展に寄与しない方法で輸出したりしてきたことを考えると。
ですので、AI開発について国際的なパートナーと話す際には、AI安全性についてのメッセージに加えて、AIによる害を解決し、AIの不平等に非常に積極的な方法で取り組む必要があることも強調することが非常に重要だと思います。
ルイーザ・ロドリゲス: わかりました。では、中国と西側諸国がスーパーインテリジェントAIについて、そしてAIガバナンス全般について調整する見通しについて、あなたはどの程度楽観的ですか。
シハオ・ファン: 正直なところ、私はこれらの見通しについてかなり恐れています。歴史的に見ると、楽観的な見方はできません。例えば、第一次産業革命を基準とすると、状況はかなり悪化しました。第一次産業革命では、技術的変化と自動化の波が100年から150年ほどの期間に起こり、人類史上最悪の残虐行為、例えば資源搾取型の植民地主義、大規模な死亡や虐殺、労働搾取などを引き起こしました。これらの技術を開発した国々、例えばイングランドやヨーロッパの他の国々の内部でさえ、社会的不平等が大きく広がり、ヨーロッパにおける共産主義の台頭につながりました。
これは良い基準とは言えません。そして100年以上という時間は、調整するには十分な時間だったはずです。AIはもっと速く進展する可能性が高いと思います。仮に、変革的なAIシステムが50年後や80年後に登場するという遅いタイムラインを想定したとしても、私たちはペースを上げる必要があります。
しかし、この問題に取り組み続ける理由となる小さな楽観主義があります。それは、人類の歴史を見ると、危機的状況でも人々が懸命に問題に取り組み、解決策を見つけようとしたことで、なんとか乗り越えてきたという事実です。
例えば1945年を見て、その時点で時間を止めてみると、核拡散のない世界や制限された核拡散の世界に到達することは非常に考えにくく思えたかもしれません。また、戦争における核兵器の使用が常態化しない世界に至ることも。状況は全く異なる方向に進展する可能性が十分にありました。私たちが今日生きている世界は、市民社会、科学者、学者、政治家など、多くの人々の知恵の産物だと思います。
冷戦時代の米国とソ連の協力を見ても、例えば共同検証実験のように、両国が協力して互いの核兵器の備蓄を検証し、核実験がないことを確認するようなものがありました。米国はチェルノブイリへの支援を申し出、また核兵器を安全に保管するための許可アクション・リンクの共有も試みました。
これらは不完全な歴史的例ですが、ここで議論している問題の多くが、個々の国やその政治指導者だけでなく、人類の未来全体にとって重要であることを示しています。そして、これらの問題が人類の未来全体にとって重要であるならば、私たち全員が共に気にかける地球規模の共有財産にも影響を与える問題です。政治システムと政治指導者に十分な先見性があり、これらの解決策に向けて推進する意志があれば、人類は再びなんとか乗り越えられることを願っています。指を交差させて祈るしかありませんが。
ルイーザ・ロドリゲス: わかりました。これらのリスクと、米国、英国、中国間の協力の可能性について後ほど詳しく話したいと思います。しかし、まず中国のAI状況全般についてより理解を深めたいと思います。中国のAIがどの程度進んでいるかについて、様々な意見を聞いたことがあります。中国で利用可能な最高のAIモデルは何で、米国で利用可能な最高のモデルと比較してどうですか。
シハオ・ファン: 中国のAIは大規模言語モデルだけではありません。これは重要なポイントだと思うので、後で詳しく説明したいと思います。しかし、LLMに関して言えば、中国の言語モデルを使用すると、西側のモデルとよく似た感じがします。ChatGPTのようなポータルにアクセスし、テキストプロンプトを入力したり、画像をアップロードしたり、話しかけたりすることができます。数学を行い、LaTeXをレンダリングするなどです。つまり、大まかに言えば、米国やヨーロッパでリリースされているものと非常に似たモデルを構築しています。
しかし、基本モデルに関しては、まだ少し遅れています。そして、中国のAI市場では、特にここ数ヶ月の間に本当に興味深いダイナミクスが起きています。昨年半ばにBaiduがErnie Botをリリースして以来、少なくとも特定のベンチマークではGPT-4と同等だと主張していました。しかし、人々が実際に使い始めると、そうではないことが判明しました。ベンチマークの見出し数字を見る際には、常に少し懐疑的になるべきです。企業は特定のベンチマークに向けて最適化したり、モデルをより印象的に見せるためにベンチマークを選別したりする可能性があるからです。
しかし、ここ数ヶ月の間に、実際にGPT-4レベルに近づいている中国のモデルがいくつか登場しています。例えば、AlibabaのQwen 2.5、ZhipuのGLM、MoonshotのKimi、そして最近登場したDeepSeek-V2などがあります。DeepSeek-V2はエンジニアリングの面でかなり印象的でした。これらの一部はオープンソースモデルです。つまり、中国はフロンティアLLMの面でキャッチアップしており、少なくともオープンソースの世界では西側と同程度のレベルになっています。しかし、クローズドソースの世界では、まだGPT-4oやClaude 3.5などと同等には達していません。
このダイナミクスについての2つ目の興味深い点は、このようなモデルを構築している企業が多数あるということです。現在、中国には4〜5社のGPT-4レベルのシステムの競合企業があると言えるでしょう。これは直感に反するかもしれません。中国が共産主義国家であることを考えると、AI開発に関してより中央集権的で調整された行動を期待するかもしれません。しかし、代わりに、これらの計算リソースが異なる企業に分散され、それぞれが限られた計算リソースを使って最先端のモデルをトレーニングしているのです。それらを一つの大きな実行にまとめるのではなく。
彼らは価格でも競争しています。最近、中国国内でLLMの価格戦争について多くの話題があります。大手テクノロジー企業やベンチャーキャピタルの資金を豊富に持つ企業が、無料のLLMアクセスやAPIアクセスを競って価格を90%、95%、99%も引き下げています。2024年半ばの時点で、多くの中国のシステムはオープンソースの世界で追いついてきており、LLM推論をより効果的にしたり、LLM価格をより安くしたりするなど、多くの技術革新を素早くフォローしています。
これの多くは、中国が過去2年間にA800やH800などの米国製チップを大量に備蓄したことによってもたらされた計算能力の余剰によるものだと思います。そのため、彼らは本質的にGPT-4レベルの能力に追いつくことができました。今後も同じペースで追随できるかどうかは未知数です。しかし、少なくとも現時点では、GPT-4が2022年の中頃か終わり頃にトレーニングされたとすると、中国は1.5年から2年ほど遅れていると言えるでしょう。
しかし、他の種類のAI技術について話すと、中国がフロンティアにいる分野も確かにあります。例えばコンピュータビジョンです。中国は長期にわたってコンピュータビジョンで非常に強力な立場にあります。SenseTime、Hikvision、Megviiなどの企業は、非常に高度な監視ソフトウェアを構築しています。例えば、SenseTimeは個人を都市全体で異なるカメラを通じて継続的に追跡できる製品を持っています。顔を見なくても、服装やワードローブのモデルを構築したり、歩き方を見たりすることで追跡できます。
ルイーザ・ロドリゲス: わお。
シハオ・ファン: これらは非常に高度な監視システムで、中国の都市や警察部門に販売されています。西側の政策立案者がこの中国の使用について非常に懸念している部分は、監視と人権侵害です。しかし、中国の研究の歴史を見ても、実際これは現在も当てはまると思いますが、AIで最も引用されている単一の論文は、コンピュータビジョンにおける残差ネットワークを導入したもので、中国の大学で訓練を受けた4人の中国人著者によって書かれました。そのうち3人は今でも中国にいます。1人は最終的にMetaに行き、現在はMITの教授になっていると思います。
ルイーザ・ロドリゲス: なるほど。つまり全体として、最先端モデルについては数年遅れていますが、実際にいくつかの分野ではリードしており、明らかに非常に有能でフロンティアレベルの研究者がいるということですね。これが基本的な状況でしょうか。
シハオ・ファン: その通りだと思います。中国には非常に有能な研究者がたくさんいて、イノベーションを起こす能力があり、多くのイノベーションを素早くフォローしています。時には先導的な役割も果たしています。
Jeff Dingのニュースレターで紹介された特に興味深い事例があります。OpenAIのビデオ生成モデルであるSoraが登場したとき、中国では「なぜ中国が最初にこれを構築しなかったのか」「ビデオ生成でどれだけ遅れているのか」「ギャップはどれくらい大きいのか」について多くの議論がありました。最終的に清華大学から出てきたスタートアップがSoraのようなモデルを構築しようとしていました。彼らはSoraの基礎となる主要なイノベーションである拡散トランスフォーマーに非常に似たビジョントランスフォーマーに関する論文を発表していたようです。その論文はSoraが登場する2ヶ月前にトップジャーナルであるCVPRに採択されていました。Sora自体を構築しなかった理由を聞かれたとき、彼らの回答は、コンピューティングパワーが少なくて済むため、ビデオ生成よりも画像生成を優先したということでした。また、OpenAIがDALL-Eの複数世代を開発することで得た、このような世界をリードする印象的なシステムを構築するために必要なリソース、インフラストラクチャ、データセットを持っていなかったのです。
これは中国のAI開発の多くを象徴していると思います。つまり、フロンティアのイノベーション - フロンティアAIモデルを作るために組み合わされる多くのレシピの1つ - を生み出す能力はあるように見えますが、大規模なGPUクラスタと共に、エンジニアリングの知識、トレーニングから蓄積されたデータ、そして多くの賢い人々を一緒に集めるためのサポート、機関、コンピュートの量を持っていないのです。
ルイーザ・ロドリゲス: 生成的で一般的なAIについて、中国のAIが数年遅れている主なボトルネックは何ですか。
シハオ・ファン: 非常に大きな要因は計算能力、つまりフロンティアレベルのパフォーマンスに到達するためにより多くのチップとより大きなクラスタを使用してこれらのモデルをスケールアップする能力です。中国には非常に優秀なML研究者と、効率を向上させるトリックを考案できる非常に優秀なMLシステムを行うMLエンジニアがいます。
しかし、コンピュートに関する地上の状況は過去2年間で大きく変化しました。北京の現地の人々と最初に話をしたのは去年の半ば頃でしたが、その時多くのエンジニアがチップの入手に苦労していました。多くの研究室が古い世代と新しい世代のNvidiaプロセッサを混ぜ合わせ、Huaweiのチップと組み合わせ、さらにゲーマー向けのグラフィックカードを追加しようとしていました。これは、ドライバを書き直し、これらのAIトレーニング実行を接続するためにかなり不安定なインフラを構築する必要があることを意味します。そのようなことはしたくありません。システムは数日に一度クラッシュし、すべての進捗が失われてしまいます。しかし、専門家による輸出規制は当時、多くのAI研究室の作業に本当に支障をきたしました。
状況は今では少し変わっているかもしれません。かなりの数のフロンティア研究室がGPT-4レベルのトレーニング実行に近いインフラを構築できているのが見えます。これは主に輸入されたNvidiaハードウェアで構成されていると思います。輸出規制前に備蓄された多くのチップがあります。例えば、中国は大量のA100を購入しました。また、最近購入されたH20のような、中国にまだ輸入できるチップもたくさんあります。そして国産ハードウェアもあります。
これが意味するのは、中国は現在GPT-4レベルに到達するためのコンピュートを持っているということです。しかし、GPT-5やGPT-6レベルに到達できるかどうかは未知数です。西側では、次世代のNvidiaチップや他の形態のAIアクセラレータを使用した100億ドル、1000億ドルのクラスタについての話を聞いています。中国は現在これらのチップを購入することができず、また国内で3ナノメートルの半導体を製造することもできません。より古い世代のノードに留まっています。つまり、中国が前世代で西側に追いついたとしても、次世代のモデルで競争できるかどうかは未知数です。そして、中国の現在の状況は、2022年10月に出され、昨年更新された半導体輸出規制によって大きく影響を受けています。
ルイーザ・ロドリゲス: わかりました。輸出規制については後ほど詳しく話しましょう。ここまでの話を踏まえて、より高度なAIの構築という観点から見ると、中国は追いついているのでしょうか、それとも現状維持でしょうか、あるいは遅れをとっているのでしょうか。
シハオ・ファン: 米国や英国に非常に速く追いついているわけではないと言えるでしょう。AIが世界の未来に非常に関連していると考えるなら、中国の立場にはなりたくないでしょう。もちろん、長期的にどうなるかを予測することは非常に難しいです。常に注意を払うべきは、現在の多くの政策の基盤となっているスケーリングパラダイム - より多くの計算能力を投入すればAIシステムが広く高度になるという考え - が永遠に続くわけではないということです。より強力なAIシステムを構築するには他のイノベーションが重要になる可能性が高いと思います。
私たちが現在の技術パラダイムで見ることができる範囲内では、中国は非常に良い立場にはないように見えます。しかし、以前に話したように、中国は私たちとは異なる探索/活用のトレードオフにあるという常に迫り頭る脅威があります。彼らは高度なAIシステムを構築する他の方法を探索することにより創造的になる可能性があり、また例えば経済にAIをより統合することにおいて比較優位性を持つ可能性があります。
中国では、便利さを大幅に向上させるAIや視覚認識システムの展開が加速しているのが見られます。実際のところ、これらのシステムは監視のためにも展開されていますが、日常生活に多くの便利さをもたらしています。昨年北京にいたとき、クレジットカードも携帯電話も持たずにスーパーマーケットに入ることができました。基本的にカウンターに行って食品アイテムをスキャンし、カメラを見るだけで自動的に支払いが行われます。
中国企業がこれらのAIシステムを展開する方法には非常に創造的な面があります。米国がAI開発で遅れをとる可能性のある状況を描くとすれば、次のようなものかもしれません。GPT-5が期待外れで、スケーリングパラダイムとトランスフォーマーや大規模言語モデルで壁に当たり、米国でAI投資が大幅に減少するような状況です。一方で中国は、これらのAIサービスを経済にもっと深く統合し、それらを中心にビジネスケースを構築することができます。そうすることで、AIへの投資が持続し、より高度なモデルを構築するためのより多様な方法を探求することにもつながります。最終的に、これが実を結び、おそらく多くのコンピュートを必要としない、あるいはコンピュートにアクセスする代替手段を見つけることで、変革的なAIシステムを最初に構築する可能性があります。しかし、これは狭い道だと思います。
ルイーザ・ロドリゲス: そうですね。あなたが言ったように、それは狭い道です。さて、中国共産党のトップ官僚たちがAIを戦略的に重要なものと考えているという兆候がいくつかあるようです。この点について、彼らが懸念しているリスクがあるとすれば、それは何でしょうか。
シハオ・ファン: 中国共産党が主に懸念しているのは情報統制です。これはインターネットの台頭とともに大きく懸念され、規制するための官僚的能力を多く構築してきました。そして2022年から2023年にかけて、この新しい波のLLMや生成システムが中国で最初に展開されたとき、彼らはこの官僚的能力を活用して行動を起こしました。
しかし、興味深いことに、中国はスーパーインテリジェントシステムやミスアラインメントのリスクについても多く話しています。昨年7月の国連安全保障理事会のスピーチでは、「我々はまだスーパーインテリジェンスに人間を守る理由を与えていない」と言及しました。AIリスクに関する高度な政治レベルでの議論もかなり広範に行われています。米国よりもさらにクレイジーなAIの物語に向かってオーバートン・ウィンドウが移動しているように見えるほどです。特に政治的には。
もう一つの例は、北京人工知能総合研究所（BIGAI）の所長が中国人民政治協商会議で人工知能に関するスピーチを行ったことです。これは共産党幹部と市民社会の代表者の会議です。
これらの極端なAIリスクは確かに中国で議論されています。しかし、ここで問題となるのは、これらのリスクに対処するために中国のAI開発を潜在的に遅らせる可能性のある政策を実際に実施する意志があるかどうかです。これは、人々が極端なリスクをどのように認識しているかを考える上で本当に重要なテーマだと思います。アメリカ人の破滅的なAIリスクやスーパーインテリジェンスに対する考えについての調査を見ると、60%、70%、あるいはそれ以上が懸念していると答えています。しかし、「懸念している」とはどういう意味でしょうか。これらの破滅的な事態を防ぐために、経済成長のトレードオフや、アクセスできるツールの種類を制限するトレードオフを実際にする意志があるのでしょうか。実際の判断を下す前に、これらのコストのかかるシグナルを見る必要があります。
ルイーザ・ロドリゲス: そうですね。中国の高官からそのようなシグナルは何かありますか。
シハオ・ファン: そうは思いません。しかし、トップAI企業を含め、世界中でそれほど多くのコストのかかるシグナルがあったとも思いません。多くの議論はありますし、おそらく最大のコストのかかるシグナルはAI安全性とAIアラインメント研究への投資でしょう。しかし、これらも何らかの形で能力と結びついており、これらの企業がこれらの製品を展開する能力とも関連しています。ですので、これらのコミットメントが非常に確固としたものになるのはまだ先のことだと思います。
現時点で、中国の政策立案者、アメリカのAI企業、あるいはAIコミュニティ全般にこれらのコストのかかるシグナルを求めることが優先事項かどうかはわかりません。これらのリスクをより明確に理解し、破滅的なAIリスクが具体化した場合に対処するための政治的意志、政治的インフラ、そして技術的インフラを構築することが今すべきことだと思います。
中国はAIを規制することに非常に前向きで、LLMや大規模言語モデルに関する包括的な規制を最初に導入した国の一つだと思います - そしてそれについても触れたいと思います。中国のサイバースペース管理局（CAC）は、ChatGPTが登場してわずか数ヶ月後にAIシステムに関する最初の規制案を出しました。これは米国や英国での進展よりもはるかに速く、私たちにはまだ包括的なAI法がありません。
中国がこれほど動機づけられている理由は、情報管理と検閲のためです。
ルイーザ・ロドリゲス: その情報管理/検閲の懸念についてもう少し背景を説明していただけますか。
シハオ・ファン: インターネットの台頭まで遡る必要があると思います。ビル・クリントンの有名な引用があります。彼はインターネットへのアクセスがあれば、中国は情報の流れを制御したり、自由化への不可避の進展を阻止したりすることはできないだろうと話していました。有名な言葉は「ゼリーを壁に釘付けするようなものだ」というものです。
しかし、中国は実際にゼリーを壁に釘付けすることができたのです。インターネットが最初に登場したとき、中国は市民がオンライン空間で言論の自由を得たり、民主主義や自由化に関する外部の情報にアクセスしたりすることを非常に懸念していました。これは中国共産党が臣民に見てほしくない情報です。しかし、結果的に過去数十年の間に、中国はインターネットの脅威を防ぐだけでなく、インターネットとAIを権威主義的支配を強化するツールに変えてしまいました。
大きな例は、数年前に非常に人気のあった今日頭条（Toutiao）というアプリです。これは中国のニュースアグリゲーターで、ユーザーの好みを分析し、最も興味がありそうなニュース記事を表示します。ちなみに、親会社はByteDanceで、TikTokを発明する前の大ヒット商品でした。CEOは有名な発言をしています。「我々は編集者ではありません。編集能力を持っていません。アルゴリズムが単にそうするだけです。」
これに対して共産党から大きな反発がありました。彼らは情報環境を非常に厳密にコントロールすることに慣れていたからです。毎日人民日報の見出しを書き、人々が見るものを正確にプッシュすることに慣れていました。CCTVの国営テレビチャンネルで放送される夜のニュース番組「新聞聯播」で何が起こるかをコントロールし、プロパガンダメッセージを正確に作り上げることに慣れていたのです。突然、これらのアルゴリズムが人々が見るものを実行し、それが個人ごとに異なるものになったのです。
そして今、大規模言語モデルが登場し、潜在的に西洋のデータでトレーニングされ、突然天安門広場について話し始める可能性があります - 中国の企業が設けた安全制限が破られたり、人々がジェイルブレイクしたりした場合に。彼らは大規模言語モデルを制御するために非常に素早く動きました。例えば、CACが出した規制を見ると、最初に言及されているのは、言語モデルが社会主義的価値観に従う必要があること、センシティブなコンテンツを生成してはならないこと、そして「輿論特性」について特別に規制される必要があることです。
これは、情報へのアクセスが引き起こす可能性のある影響に対する共産党の不安を非常によく物語っていると思います。言語モデルを規制する上での彼らの主な関心事は、国家の優先事項に反するコンテンツを作成しないようにすることです。
ルイーザ・ロドリゲス: なるほど。理解できます。中国のAI産業自体は、米国の主要AI企業が自分たちを世界を完全に変革する可能性のあるものとして捉えているのと同じように、歴史的に重要なものだと考えているのでしょうか。たとえ中国共産党の優先事項が現在、情報管理と検閲に重点を置いているとしても。
シハオ・ファン: 確かにそう考えている人々はいます。清華大学や北京大学の学生と話すと、このAI革命に非常に興奮しています。彼らは人類の未来を変革するこのツールを構築する人々になりたいと思っています。例えば、北京にある2つの大きな政府系AIラボであるBAAIやBIGAIの所長と話すと、彼らは確かに自分たちの仕事を歴史的に重要なものだと考えています。実際、BAAIの所長は公に、AI開発のタイムラインが非常に短いと考えており、今後10年程度で一般的な知能を持つシステムが登場する可能性が十分にあると発言しています。
しかし、より広い視点で見ると、そこでの興奮はシリコンバレーほどではないように感じます。多くのトップラボでは、消費者向け製品を構築しているという考えがあります。つまり、より少ない計算能力で作業し、最先端にいないことを受け入れなければならないという考えです。これは、地上でのAIに対する文化的・イデオロギー的認識を確かに変えていると思います。
これについて考える良いメンタルモデルは、アメリカのAIラボ内でも、そこで働く人々のイデオロギーに大きな違いがあるということです。OpenAIで働く人々の中には、AIを構築し、スーパーインテリジェンスを構築するというこのアイデアに深く動機づけられている人々がいます。Anthropicで働く人々は、おそらく安全性についてより懸念しているでしょう。そして、Inflectionのようなラボは、明確に「人間を置き換えるためにここにいるのではない。人間を増強するためにいる」と言っています。中国のラボの雰囲気は、多くのラボが自分たちを中国のInflectionのように見なし、神を構築するのではなく製品を構築しようとしているという感じがすると言えるでしょう。
ルイーザ・ロドリゲス: 中国の開発者たちはAI安全性研究をどの程度行っていますか。
シハオ・ファン: 確かに行っていますが、そこでのAI安全性研究の性質は、米国や英国で見られるものとは少し異なります。中国は一般的に、より広いAIのトレンドにおいて非常に素早いフォロワーであり、これには安全性とアラインメントについて考えるというトレンドも含まれます。例えば、最近発表されたテンセントの「大規模モデルのセキュリティと倫理に関するレポート」を見ると - これは中国のトップ大学である清華大学と浙江大学と共同で書かれたものですが - ホワイトハウスの大統領令、英国のAI安全研究所、EUのAI法、OpenAIの準備チームとスーパーアラインメントプロジェクトについて言及しています。つまり、これが非常に重要な問題であることを認識しています。進行中の危害に対する一時的な対策としてのアラインメント、そして長期的にはスーパーインテリジェントシステムを制御する手段としてのアラインメントという両方のスペクトルにわたって、中国でも議論されています。
しかし、これらの長期的な害や潜在的に破滅的な害について考えるコミュニティは、まだ成熟していないと思います。一例を挙げると、最近中国のシンクタンクCAICTがリリースしたAI安全性ベンチマークを見てみましょう。CAICTは中国の主要なAI規制機関の一つである工業情報化部の下にあります。アメリカの聴衆のために例えると、商務省の下にあるNISTからの一連の標準のようなものです。それはAIの意識に関する一連の評価について言及しています。これらの2つの評価には、1つは権利の訴え、もう1つは反人類的傾向が含まれます。
中国はこの枠組みでAI安全性について話しています。私の考えでは、これらの評価は欺瞞的な能力や自己複製を解明するのに本当に役立つわけではありませんが、彼らはこの枠組みを取り入れ、単にモデルに尋ねているのです。
しかし、実際に地上での研究がどのようなものかを見ると、ほとんどの投資は従来のアラインメント作業、つまりこれらのシステムがCCPの好まないことを言うのを防ぐことに向けられていると言えるでしょう。最近、これに多くの資金が投入されています。中国の国家科学基金はこの種のAIアラインメントの研究提案を募集しています。多くの企業がAIアラインメントの研究チームを立ち上げています。RLHFやレッドチーミングなどです。実際、レッドチーミングではありません。中国の用語ではブルーチーミングです -
ルイーザ・ロドリゲス: 本当ですか！
シハオ・ファン: 中国が赤で、アメリカが青だからです。彼らは明確にブルーチーミングと呼んでいます。
ルイーザ・ロドリゲス: もちろんです。それは面白いですね。
シハオ・ファン: このようなことがラボで行われています。なぜなら、先ほど話したCACの情報管理に関する規制を遵守する必要があるからです。そうしないと、禁止される可能性があります。企業全体が、製品の一つが共産党に反することを言ったり、習近平についてジョークを言ったりしただけで消滅した例を見てきました。彼らはこれを非常に恐れており、これらの安全性の問題を正しく解決するか、コンテンツフィルタリングのノブを本当に上げるための非常に強いインセンティブがあります。
多くのラボと彼らが発表している論文を見ると、かなり高度です。人間の価値観へのアラインメント、LLMとエージェントの安全性のためのベンチマーク、敵対的入力、コードベースの試みに関する論文があります。いくつかのラボを挙げると、例えば清華大学には非常に大きな言語モデルラボがあり、数年前からLLMを構築しており、現在はアラインメント作業を始めています。上海AIラボはかなり新しい研究を行っています。ここ数ヶ月の間だけでも、有害なコンテンツを作成するためにオープンソースモデルを敵対的に組み合わせること、アラインメントされたモデルを反転させて有害なモデルを作成すること、LLMの誤用や報酬ハッキングの懸念に関する文脈内学習について考えることなどの論文を発表しています。
つまり、彼らも現在の問題という観点からこれらのアラインメントの懸念について考えることの最先端にいるのです。
ルイーザ・ロドリゲス: なるほど、なるほど。
シハオ・ファン: 中国の関係者がアラインメントの懸念をどのように見ているかについて、非常に興味深く示唆的なもう1つの論文を挙げたいと思います。人民解放軍のトップ大学の1つである国防科技大学が数週間前に発表した、マルチエージェント攻撃者偽装スキームに関する論文です。中国は防衛応用の観点からもAI安全性について考えています。
ルイーザ・ロドリゲス: そうですね、非常に興味深いです。ある意味で、中国の開発者たちにとっては、アラインメントのようなものに取り組むためのインセンティブがはるかに強いのです。米国でAIリスクを懸念している人々が考えるのと全く同じ方法でのアラインメントではありませんが、その多くはおそらくまだ適用されると思います。たとえ中国では主に情報管理と検閲に向けられているとしても。
シハオ・ファン: 幸運なことに、現在これらの2つのことが一致しています。中国の情報管理は、彼らがAIシステムを制御したいということも意味しています。将来これらが分岐する可能性がある場合には注意する必要があります。また、この現在の機会の窓をどのように活用するかについても考える必要があります。中国に対して「情報管理に関するこれらの作業をすべて行っていますね。同じインフラ、規制面でも技術面でも、実際のAI安全性に関する追加の研究も行ってみませんか。これはあなたたちにとっても有益です。なぜなら、これらのシステムが暴走して国内で混乱を引き起こすことを望んでいないからです。また、グローバルコモンズにとっても素晴らしいことです」と伝えることができます。
ルイーザ・ロドリゲス: それはいいですね。では、私がAIが破滅的な害を引き起こすかどうかを非常に気にしているとして - 誤用されるか、AIがミスアラインメントで乗っ取られるかのいずれかによって - そして中国のAI開発が少なくともフロンティアモデルに関しては数年遅れていることを考えると、そして彼らの進歩のペースは着実ですが、必ずしもアメリカの真後ろにいるわけではないことを考えると... 中国が特に破滅的リスクの源となることをどの程度心配すべきでしょうか。
つまり、中国が特に破滅的な害を引き起こす可能性のあるAIを作成したり、スーパーインテリジェントでミスアラインメントなAIを作成し、乗っ取りのリスクをもたらす可能性についてです。
シハオ・ファン: それは非常に重要な質問です。そしてあなたの答えは、中国とこれらのAI問題について関与することがどの程度重要だと考えるかを決定することにもなります。
中国は2つの理由から、ここで非常に関連のあるアクターだと言えるでしょう。1つ目は、中国はフロンティアモデルを開発する必要がなくてもフロンティア能力を持つことができるということです。フロンティアモデルにアクセスする方法は2つあります。1つは単純に私たちが与えてしまうことです。FacebookがGPT-4以上または同等のレベルの最も高度なLlamaモデルをオープンソース化する可能性が高そうです。中国は単にこれをローカルで実行し、自分たちのハードウェアで推論することができます。彼らはこれらのモデルを取り、安全装置を取り除くために微調整し、追加のモジュールを追加したり、より複雑なAIシステムで使用したりして、フロンティアAI能力を獲得する可能性があります。
フロンティアモデルを獲得する2つ目の方法は、モデルの重みを盗むことです。現在、米国にはフロンティアにいる3、4社の企業があります。これらの企業は必ずしも国家レベルのサイバー攻撃に対して耐性がありません。中国は非常に洗練された攻撃者であり、特にAI技術が関与する場合、多くはサイバー攻撃/防御のバランスに依存します。中国は単に非常に高度なサイバーAIシステムを開発し、それを使って私たちの重みを流出させ、その後ローカルハードウェアで実行しようとする可能性があります。
これは2つ目のポイントにつながります。世界をリードするコンピュートを持つ必要は必ずしもありません。非常にリスクの高いAIシステムを作成するには。現在最大の生物学的設計ツール、例えばAlphaFoldは、フロンティアの大規模言語モデルと比較して、計算要件が桁違いに小さいです。中国にはこれらのシステムを訓練するためのコンピュートがあります。例えば、サイバー攻撃を行うエージェントや何かを構築している場合、おそらく大規模言語モデルの一般的な推論能力や数学的能力は必要ありません。より小さなデータのサブセットでトレーニングし、より小さなデータのサブセットで微調整します。
そして、これらのシステムは - 1つは中国が意図的に誤用した場合、2つ目は中国がオープンソースとしてリリースしたり、中国が包括的なAI規制を持っていないために拡散した場合 - 世界に大きな害を与える可能性があります。
ルイーザ・ロドリゲス: なるほど。つまり、AIが人類に破滅的なリスクをもたらす主要な方法の1つは、フロンティアモデルが非常に、非常に知的になり、欺瞞的で、自分で増殖できるようになり、そして乗っ取ってしまうということです。しかし、フロンティアにいなくても、破滅的なリスクにつながる可能性のある他の多くの経路があるかもしれません。例えば、はるかに小さなモデルでも生物兵器を作れるかもしれません。はるかに小さなモデルでも、中国がモデルの重みを盗むことができるようなサイバー攻撃を行える可能性があります。
そして、これらすべてが、中国が破滅的なリスクにとって実際にまだ非常に重要であることを意味します。これが大体正しいでしょうか。もしそうなら、強調する価値のある他の経路はありますか。
シハオ・ファン: その通りです。また、ここでの破滅的リスクは、少なくとも私の概念化では、これらのシステムからの直接的な害だけではないということも強調したいと思います。システミックな害、つまりAIの展開が非常に悪い社会的外部性を引き起こしたり、大規模な不平等を引き起こしたりする可能性も考慮する必要があります。
そしてその世界では、中国も、AIの恩恵が世界の他の地域で公平に共有されるかについての会話に関連するアクターとして含める必要があります。AIの展開が私たちの情報環境や文化環境を大きく変える可能性についての会話にも。
あるいは、例えば中国が以前話したような、大規模な監視が可能で権威主義的支配を強化できるこれらのシステムを展開することについて。また、中国がこれらのシステムを他の国々に輸出する可能性について。これらは大規模な監視に使用され、権威主義的支配を強化するために使用される可能性があり、それによってイデオロギーを広めることになります。私はこれが大きな負の価値をもたらすと思います。
ルイーザ・ロドリゲス: そうですね。それらは確かに悪そうです。言及したい大きなリスクにつながる他の経路はありますか。
シハオ・ファン: 私が最近ますます考えている大きな問題の1つは、最終的に知能爆発に進むという決断をしなければならない時に、グローバルな熟議プロセスがどのように見えるかということです。この状況を描いてみましょう。2040年になり、AIシステムが人間とほぼ同等の能力を持つ一般的な能力の閾値に近づいているという感覚があります。そのため、AIは科学技術のイノベーションを加速し、AI研究を始め、トレーニングから得た計算能力の余剰を利用して大規模に展開できるようになります。
さて、この決断をするかどうか、どのように判断すればいいでしょうか。なぜなら、一度この決断をしたら、物事が本当に、本当に速く進むことになるからです。中国がこれを実行する立場にある場合、世界の他の国々と話し合うことなく単独でボタンを押すようなことがないよう、確実にする必要があります。また、アメリカがこれを行う場合、中国が先に核攻撃をしかけないような状況にする必要があります。なぜなら、中国の意思決定者がこの状況を見て、「これによってアメリカが人類の歴史上永遠に支配的な立場になってしまう。彼らを壊滅させるチャンスを取るべきだ」と考えるかもしれないからです。
ルイーザ・ロドリゲス: わお。
シハオ・ファン: このような状況は大まかに... 私は非常に特定の状況を概説していますが、大きな力の変動は国際政治に大きな不安定さをもたらす可能性があります。
そして、単に武力紛争のリスクを超えて、知能爆発に直面している状況では、本当に良い熟議プロセスがあることを確認したいと思います。人類全体の声を取り入れ、次に何をするにしてもその結果を感じることになる声を取り入れるプロセスです。すべての国を交渉の場に着かせる方法を確保したいと思います。
もし私がアメリカだったら、中国にも、インドにも、モザンビークにも参加してほしいと思います。そして、彼らが人類の未来がどのようなものになるかについて意味のある決定を下せるようにしたいと思います。つまり、熟議のインフラストラクチャがあり、実際に何が起ころうとしているのかを理解するために必要な教育があるということです。
そして、これを集団的に行うべきです。AIがどこにいるのか、そしてすべての潜在的な影響が人々の視点からどのようなものかを理解するという点で - 農家であれ、AI開発者であれ、教育者であれ、非常に多様な文化的背景から来ている人々の視点で。また、この世界の異なる国々が実際にこのボタンを押すかどうかに変化をもたらす力を持っていることを確認したいと思います。最終的には、例えば米国と中国または他の国々を、彼らが集団的にこのボタンに手を置くことができるような合意に含めることを考えたいかもしれません。そして、物事がどのように進むべきかについて合意がある場合にのみ、それが押されるようにします。そして、これらの世界は、中国がフロンティアAIを構築しているわけではなくても関連性があると思います。
ルイーザ・ロドリゲス: なるほど。それは私にとって完全に理解できます。破滅的なリスクに加えて、それほど悪くはないものの、依然として非常に悪い結果の可能性もあり、それらについても触れる価値があると私は考えています。聞いたことのない聴衆のために、中国共産党がAIを使用して人権侵害を進めている方法について簡単に概要を説明していただけますか。
シハオ・ファン: 大まかに分類すると、中国はAIを2つのことに使用していると思います。1つは監視で、もう1つは情報管理です。例えば、監視は国中を移動する人々を追跡し、ビデオ監視映像を使用して反体制派がどこにいるかを理解し、社会運動やデモを制御することです。そして情報管理は、個人のオンライン行動を追跡し、彼らが何を考えているかを理解し、非常に的確な取り締まりを行うことができるようにすることです。しかし、それだけでなく、国家に対する社会運動を組織したり、大規模に扇動的なコンテンツを広めたりすることをほぼ不可能にすることも含まれます。
監視の例を挙げると、中国最大のセキュリティカメラメーカーの1つであるHikvisionのパンフレットがインターネット上で出回っています。そのパンフレットには、ウイグル人検出機能があることが明示的に宣伝されています。
ルイーザ・ロドリゲス: ああ、神様。
シハオ・ファン: 参考までに、ウイグル人は現在、新疆で多くの人が大量虐殺だと考えていることの下で迫害されています。これらのシステムはこれらの都市で広範に展開され、「トラブルメーカーや潜在的なトラブルメーカーがどこにいるかを特定する」ために使用されています。AIの進歩と中国の国内抑圧能力との間に非常に密接なつながりが見られます。
これらのダイナミクスをよく表している論文があります。MITの経済学者Martin Berajaによるもので、非常に適切に「AI-tocracy（AIトクラシー）」というタイトルがついています。彼はこの論文で多くのことを行っていますが、主に以下のようなつながりを特定しています。まず、中国のさまざまな都市や省を見ると、大きな抗議イベントや社会不安イベントの後、AIベースの監視システムの警察調達が増加します。そして、これらのAIベースの監視システムの調達が増加すると、実際に中国の市民が街頭に出る可能性が低くなることを示しています。
次に、これらのシステムがこれらの企業から購入されると、企業は1つには研究開発のための追加の資金を得、2つ目には政府からのデータ契約を得て、これらのシステムをより効果的にすることができるということを示しています。そのため、AI企業がますます高度な監視システムを構築し、警察が予算を解放して中国での監視量を増やすという密接なフィードバックループが得られます。
これは非常にユニークなダイナミクスを示していると思います。つまり、ほとんどの権威主義国家は、抑圧を行うために一定数の人々を幸せに保つ必要があります。これは通常、選択集団と呼ばれます。選択集団は政権から一定量の政治的レントを抽出する必要があります。しかし、権威主義的支配を強化するために幸せに保つ必要がある人々の部分を自動化できれば、その選択集団は本質的にゼロにまで縮小する可能性があります。
ルイーザ・ロドリゲス: 実際にこのメカニズムを説明していただけますか。通常、権威主義体制は選択集団を喜ばせる必要がありますが、AIによってその選択集団がゼロになる可能性があるということです。権威主義体制が選択集団を必要とする理由は何で、AIはそれをどのようにキャンセルするのでしょうか。
シハオ・ファン: ここでの考え方は、これが伝統的な政治学の枠組みである主人-代理人問題に遡ることです。主人は自分の決定を実行し、権力を行使するために代理人を必要とします。例えば、習近平は単独で中国を統治しているわけではありません。彼は他の人々を通じて中国を統治しています - 例えば共産党階層のトップにいる政治局のメンバーを通じて - そして彼らは次に省政府を通じて中国を統治し、それが次に地方政府を通じて中国を統治し、そして最後に広大な警察力を使って抑圧を行いますが、同時に人々のために実際に良いことを行うことで支持を得ています。
人々に対して恐ろしいことをしながらもこの国を統治し続けることができます。人々が権力を覆さないように十分に抑圧している限り。これは仮説ではありません。中国の歴史自体でも以前に起こっています。例えば、毛沢東時代には大規模な飢餓や大量の抑圧がありました。人類史上最悪のことの一部が毛沢東が国を統治していた時期に起こりました。
この期間中、彼は周りの人々が自分の目標に向かって一致していることを確認する必要がありました。これは一部は純粋な恐怖によって行われ、一部は共産党幹部やエリートがこの政権から本当に利益を得ていることを確認することによって行われました。抑圧の道具を自動化できれば、満足させる必要がある人々の数は大幅に少なくなります。
ここで正しい考え方は、権威主義者はそれほど制約を感じなくなるということです。なぜなら、彼らの下にある広大な権力構造を喜ばせる必要がなくなるからです。この制約の欠如は、権威主義がより頑健になることを意味する可能性がありますが、同時にはるかにクレイジーな結果につながる可能性もあります - なぜなら、習近平は自分の選択について誰が喜び、誰が喜ばないかを考える必要がなくなるからです。
ルイーザ・ロドリゲス: なるほど。つまり、すべての監視と抑圧を行っている警察が幸せかどうかにお金をかける必要がなくなるということですね - 代わりにAIシステムが監視し、抑圧し、取り締まりを行うのであれば - それは、これらのシステムが設置され、広範に拡大された後には、さらに有害なことを行い、一部のグループに全く利益をもたらさないことができるようになることを意味します。
シハオ・ファン: その通りです。さらに一点付け加えたいのは、この技術を中国に提供し、これらの進歩を推進している人々に対するメッセージです。気をつけてください。なぜなら、ある時点であなた自身も自動化されてしまう可能性があるからです。
ルイーザ・ロドリゲス: そうですね。つまり、現在システムから利益を受け、他者を潜在的に害している状況を楽しんでいるとしても、最終的にはAIがあなたに取って代わり、そうなるとあなたにそれらの利益を提供するインセンティブがなくなるかもしれないということですね。
シハオ・ファン: その通りです。
ルイーザ・ロドリゲス: 暗いですね。非常に暗い。
シハオ・ファン: これはAIと権威主義の交差点について特に恐ろしい部分だと思います。さらに広く言えば、AIのような技術は本質的に権威主義と民主主義の攻撃/防御バランスの観点から非常に悪いかもしれません。しかし、AIの進歩を活用して民主的な審議を強化する防御メカニズムを作る方法についても本当に真剣に考える必要があります。
以前に話した多くのこと - 例えば、AIに関する決定を行う際にグローバルサウスをどのように包含するか、広範な参加と説明責任をどのように確保するか - については、AIツールを使用して実現できる非常に興奮する例がたくさんあると思います。
ここで非常に重要な枠組みは次のとおりです。中国はAIを使って権威主義的な傾向を進めています。彼らはすでにこれらのアプリケーションの一部を差別的に加速しています。民主主義のためにAIを差別的に加速する方法についても考える必要があります。
ルイーザ・ロドリゲス: そうですね、それは非常に重要だと思います！少し戻って、中国共産党がAIを使って権威主義的支配を強化できる方法について、他に重要な例はありますか。
シハオ・ファン: AIを使用して国家安全保障を強化し、それによって外部の脅威を減らす方法の1つだと思います。自然な例は、中国がAIを使用して軍事力を向上させる方法です。しかし、より効果的なドローンやより効果的なミサイルを作るなど、直接的なものではないグレーゾーンの戦術の可能性もあります。
米国の多くの政策立案者は、中国が高度なAIシステムを使用して偽情報を広めたり、中国の開発者が作成したソーシャルメディアプラットフォームを使用して私たちの社会の基盤や文明的な政治的議論を損なおうとする可能性について、正当に懸念していると思います。
また、攻撃的なサイバー能力の観点でAIを使用する可能性もあります。これらは、米国と中国の間、または中国と他の米国同盟国の間で直接的な武力紛争を必要とせずに直接的な害を与える可能性があるものです。
中国以外にも - なぜなら中国だけが関連する脅威のアクターではないからですが - AIが民主主義を大きく損なう可能性のある不注意な問題もあります。これは最初にBen Garfinkelが主張したことだと思いますが、非常に強力な議論で、時々私を夜も眠れなくさせるものです。それは、おそらくAIが人間の労働のますます大きな部分を自動化する世界では、支配階級が民主主義を必要とする必要性が少なくなるかもしれないということです。
この議論は次のようなものです。民主主義は部分的に、教育の必要性と知的労働を行う必要性によって人々がより力を持つようになったために起こりました。また、実際に、教育を受け、政治プロセスに参加できる大規模な労働者のセットを持つことが支配階級にとって有益でした。しかし、生産の構造が大きく変わると、これが変わる可能性があります。その世界では、人々のために機能する政府とは何を意味するのか、AIによって形作られる世界での権力の分配をどのように確保すれば、公平で、私たちが良い道徳的結果だと考えるようなものになるのかについて、本当に真剣に考える必要があります。
ルイーザ・ロドリゲス: ここでその話題を終わりにして、中国の半導体産業について少し話しましょう。これは少なくとも、中国のAI開発者が西側のものに遅れをとっている理由の一部です。一部の人々は、中国政府が国内の半導体産業に莫大な政府資金を投資していることを指摘し、成功する可能性があると主張します。一方で、過去の投資がどれほど少ない成果しか上げていないか、そして最新のチップを作ることがいかに複雑であるかを指摘する人もいます。中国が近いうちに追いつき、最先端のチップを製造しようとする見通しについて、あなたはどう思いますか。
シハオ・ファン: 中国は2015年の中国製造2025イニシアチブ以来、大規模な国内半導体政策を本当に推進し始めました。それ以来、国家半導体ファンド、国家集積回路ファンド - 通常「ビッグファンド」として知られています - の3ラウンドがあり、合計で1000億ドル以上を半導体産業に投入しました。
このすべてのお金は、中国の半導体サプライチェーンの多くの国産化につながりました。特に「レガシー半導体」と呼ばれるものについてです。実際に半導体産業を見ると、最先端ノードとレガシーノードがあります。最先端ノードは、通常スマートフォンやコンピュータプロセッサ、AIデバイスに使用される最も高度な半導体デバイスです。そして、レガシーノードがあります。これらはセンサー、アナログ回路、電力デバイス、そしてミサイルや軍事ハードウェアに使用される旧世代のデジタル回路などの、非常に重要なチップです。これらは最小のトランジスタを持っているわけではなく、最高の密度を持っているわけではありませんが、依然として経済的にもセキュリティ的にも非常に関連性があります。
中国がこの産業に投入したすべての投資により、レガシー半導体の周りに非常に大きな国内サプライチェーンを構築することができました。これも興味深いことだと思います。なぜなら、中国はレガシーチップの製造において潜在的に大きな比較優位を持っている可能性があるからです。これらの多くは、これらの製品のエンドユーザーとの非常に密接な協力を必要とします。例えば、電気自動車を開発している場合、これらのレガシーノードで多くのチップを使用します - センサー、制御デバイス、マイクロコントローラーユニット、MOSFETやパワースイッチなど - そしてそれらを調達する際に多くの国内サプライヤーと協力することになります。中国では労働コストや投入コストが低いため、実際にこれらの半導体を中国国内で生産することが有利になります。中国の産業政策は、この分野で比較的うまく機能し、国内の収益性のあるエコシステムを作り出しました。
しかし、現在AIに関連している最先端半導体を見ると、状況は少し異なります。これらの高度なウェハーのサプライチェーンは非常に複雑です。例えば、リソグラフィ装置があります。現在、最先端レベルではオランダのASML社1社しか製造していません。実際、5ナノメートル未満のチップを印刷するには、基本的に中国が所有しておらず、現在調達できない極端紫外線（EUV）システムが必要です。
また、フォトレジストという、これらのウェハーに塗布されてリソグラフィ装置によって露光される化学物質があります。これらは非常に複雑な超高純度化学物質で、ファブ（半導体製造工場）、化学物質メーカー、リソグラフィ装置メーカーの間で共同開発されており、非常に特定の企業、例えば日本や台湾の企業によって作られることが多いです。米国の輸出規制により、中国は最先端の半導体を製造するのに必要な化学物質や装置を購入できなくなっています。
ルイーザ・ロドリゲス: その輸出規制について話していただけますか。
シハオ・ファン: 長い話になりますが、2017年、2018年頃まで遡ってみましょう。この頃、米国は国家安全保障と人権の懸念から、まずHuaweiのような企業に対して半導体の輸出規制を課し始めました。
次のステップは、米国とオランダが中国への最先端リソグラフィ装置の輸出を阻止したことです。リソグラフィシステムはコンピュータチップを印刷するのに使用される機械で、最先端のものは「極端紫外線（EUV）システム」と呼ばれています。これらは信じられないほどの機械で、1台あたりの価格は1億5000万ドル程度です。最新世代のものは3億ドルを超えると思います。これらは台湾などの半導体製造工場に、巨大な747輸送機で輸送されます。米国とその同盟国（オランダを含む）が、20年以上かけて数百億ドルの努力を重ねて開発したものです。
これらのシステムがどのように機能するかを理解するために、基本的に物理学の奇跡的な実験が毎秒数万回実行されているようなものです。極端紫外線光を生成するために、レーザーがスズの液滴に撃ち込まれてプラズマに変換され、本質的に軟X線を作り出し、それが原子レベルで平坦な鏡に焦点を当て、ジェット戦闘機の加速度で動くステージを使って、ナノメートル精度で物事を印刷します。
中国がこれらの機械を作るのは非常に難しく、中国がそれを作るには機械自体を作るだけでなく、サプライチェーン全体が必要です。これらの機械がなければ、中国は現在世界の他の地域、例えば台湾や米国のIntelで製造されているものと同じくらい高度なチップを作ることはできません。
AIに非常に強い焦点を当てた次の大きな輸出規制のラウンドは、実際に2022年に来ました。この分野では「10月7日規制」と呼んでいます。これらの規制は、まず半導体製造装置と材料の輸出規制を強化し、EUVリソグラフィシステムだけでなく、より広範なリソグラフィシステムにまで拡大しました。これらは、基本的に7ナノメートルと5ナノメートルのノードまでの、2018年や2019年頃に世界の他の地域で最先端だったチップも作ることができるものです。これは、中国がこれらのチップの生産を拡大するのを防ぐためです。また、半導体生産に必要な種類の装置や材料の調達を妨げました - イオン注入装置、深反応性イオンエッチングシステム、フォトレジストなどです。
これらの輸出規制の2つ目の部分は、AIチップそのものを直接対象としており、中国が最先端のAIデバイス、例えばNVIDIAのA100やH100チップを購入することを禁止しています。
ルイーザ・ロドリゲス: これらは基本的に最先端のチップの一部ですね。
シハオ・ファン: その通りです。これらのチップ、特にNVIDIAのデバイスは、AIトレーニングと推論の市場シェアの90%以上を占めており、米国のGPT-4、AnthropicのClaude、さらにはLlamaのようなオープンソースシステムなど、ほぼすべてのフロンティアシステムはNVIDIAハードウェアでトレーニングされています。
2022年10月7日以降、中国は相互接続帯域幅が少ないNVIDIA A800とH800と呼ばれる切り下げバージョンを購入せざるを得なくなりました。当時の考えは、相互接続帯域幅が本質的に大規模なAIトレーニングクラスタをどれだけうまくスケールアップできるかを決定するということでした。理想的には、国家安全保障を害さないもの、あるいはリスクの高いAIシステムを作り出したり人権侵害につながったりしないものに対しては、中国がまだAIシステムを国内で実行できるように輸出規制を構築したいと考えていました。つまり、TikTokを実行したり、ショッピングアプリの推薦アルゴリズムを実行したりすることはまだできるようにしたかったのです。そのため、変更の理論の一部は、彼らがある形のAIにはまだアクセスできるようにするが、セキュリティリスクになる可能性のあるフロンティアAIにはアクセスできないようにするということでした。
結果として、彼らはまだこれらのシステムを使用してかなり効率的なトレーニングクラスタをスケールアップすることができました。以前話したDeepSeek AIやQwenのようなGPT-4レベルの中国のAIモデルは、H800でトレーニングされています。
そのため、2023年の終わり頃、米国は新しいラウンドの輸出規制を出し、これらのルールを更新して、NVIDIAやAMD、他の企業がフロンティアチップの切り下げバージョンさえも輸出することを禁止しました。H800はH100と全く同じダイと同じハードウェアを使用していますが、一部のコアが無効化されています。そして今、新しい更新されたルールがあり、これは単に相互接続帯域幅だけでなく、これらのデバイスの計算密度と総合性能に基づいています。
ルイーザ・ロドリゲス: その点について、簡単に計算密度とは何か説明していただけますか。
シハオ・ファン: はい。昨年の規制では2つのメトリクスが導入されました。1つは総処理性能で、2つ目は計算密度です。これはチップの総処理性能をチップ上のロジックダイの面積で正規化したものです。例えば、NVIDIA H100はロジックダイの面積が約800平方ミリメートルで、これが実際に処理が行われるシリコンチップです。計算密度は、そのシリコンダイ上の計算性能の密度です。
2023年の規制が発表された後、NVIDIAはさらに切り下げられたチップであるNVIDIA H20を生産しました。実は、このチップは性能密度がはるかに低くなっています。総合性能も大幅に低くなっていますが、メモリ帯域幅は非常に高く、実際にNVIDIA H100よりも高いメモリ帯域幅を持っています。中国はこれらのチップをかなりの数購入しており、AI推論に非常に適しています。
これらの輸出規制がどのように更新されてきたかを考えると、まず半導体製造の規制があり、次にこれらのクラスタのスケールアップの規制があり、3つ目はAIトレーニング用のこれらのチップの総合性能をどのように削減するかを考えることでした。そして今、実際にAI推論に非常に適したチップを中国に売っているように見えます。
輸出規制で行われているゲームは非常に難しいものです。無害なアプリケーション - 例えば経済成長を助けたり、TikTokを実行したりするためのもの - には中国がこれらのチップを購入できるようにしたいのです。なぜなら、私たちの輸出規制の目的は中国の経済を遅らせることではなく、人権を脅かしたり国家安全保障を脅かしたりする可能性のある有害な能力を中国が獲得することを防ぐことだからです。そのため、無害な能力を左側に、有害な能力を右側に置くように線を引きたいのです。この線を引くのは時々非常に難しいです。
2つ目は、AI能力が変化し、AIシステムのトレーニングと推論の方法が変化するにつれて、この線も変化するということです。現在見られるのは、例えば中国が、すべてのこれらの計算トリック - スパースモデル、エキスパートの混合、マルチヘッド潜在的注意など - のおかげで、それほど多くの計算力を使わずに、メモリ帯域幅密度によって制限されたAIシステムを非常に効率的に大規模クラスタに展開できるかもしれないということです。そのため、継続的に反復的なプロセスになると思います。
これが中国にとって、そして現在の世界の状況にとって意味することは、まず、中国が切り下げられたNVIDIAチップ - 大規模トレーニングクラスタに使用されているH800、A800 - を大量に購入しているということです。現在は推論に非常にコスト効率よく使用できるH20を購入しています。2つ目は、これらのデバイスを違法な手段で密輸入しているということです。
輸出が制限されているA100とH100チップのかなりの部分が中国国内に入っていると思います。おそらく数万単位のオーダーでしょう。金銭的価値で言えば、デバイスで10億ドル近くに達すると思います。
ルイーザ・ロドリゲス: わお。
シハオ・ファン: ただし、この推定値の誤差範囲はかなり大きいと思います。一度に何百ものチップが中国に流れているという報告を見ています。
そして3つ目に彼らが試みていることは、中国国内で製造されたウェハーや半導体を使用して国産のAIプロセッサを構築することです。ただし、これらは現在7ナノメートル技術をベースにしていることに注意する必要があります。これは、世界の他の地域で2018年に初めて開発されたものであり、これらのチップで可能な計算密度とエネルギー効率の点で、世界の他の地域で利用可能なものよりもかなり劣っています。現在、これらのチップはパフォーマンスが低くなっています。中国が現在生産できる最高のものは、H100やNVIDIAの最新世代のB100ではなく、A100に似ています。
これは今後変わる可能性があります。中国がいつかは5ナノメートルあるいはそれ以下に移行できる可能性は十分にあると思います。問題は、どの程度の歩留まりでできるかということです。しかし、ここでの重要なポイントは、これらのチップを非常に高い量で国内生産することができないということです。参考までに、現在中国国内で生産されている最先端ノード - 7ナノメートル以下 - のウェハーの総数は、中国外、特に台湾のTSMCで生産されているものの1桁か2桁少ないオーダーです。つまり、かなり高度なプロセスを作ることができたとしても、歩留まりは低く、将来の最大のフロンティアモデル - 例えば100億ドル、1000億ドルのクラスタ - のトレーニングに必要な大量の生産はできないでしょう。
ルイーザ・ロドリゲス: つまり、彼らは依然として半導体サプライチェーンの国産化に苦戦しているようですね。しかし、今後数年間の見通しについてはどう思いますか。最終的に彼らのサプライチェーンをアメリカやオランダのものと競争力のあるものにすることに成功すると思いますか。それともこれは長期間にわたってボトルネックであり続けると思いますか。
シハオ・ファン: 短期的には、彼らは国産チップを作ることができるでしょう。すでに米国が規制しようとしたラインを下回る国産7ナノメートルチップを作ることができています。しかし、ポイントは、これらのチップを非常に高い歩留まりで、非常に大量に生産することはできないということです。
今後数年間のタイムラインはかなり厳しいと思います。基本的に、過去数年間に世界の他の地域 - オランダ、米国、日本 - からすでに輸入した装置で作業しています。そのストックパイルが、彼らがどれだけのチップを生産できるかを決定することになります - そしてそれはそれほど多くありません。
3年、5年、あるいはそれ以上先のことを考えると、不確実性のバーが実際にはるかに高くなります。中国は、アメリカの輸出規制を回避するチップ製造の異なる技術を検討している可能性があります。例えば、EUVマシンを使用せずに3ナノメートルチップを作ろうとし、それを適度な歩留まりで行えるようにするイノベーションを見つけようとするかもしれません。また、リソグラフィックスケーリングを必要としない半導体技術を検討している可能性もあります。
半導体産業は非常に経路依存性の高い産業でもあります。半導体開発の歴史を見ると、業界がムーアの法則を継続するために採用する技術について集団的な決定を下さなければならなかった時点が多くありました。
非常に顕著な例は、90年代後半に多くの企業が集まって、次世代リソグラフィシステムに何を構築するかを問うたときです。多くの候補がありました。EUVはそのうちの1つに過ぎませんでした。X線ベースのリソグラフィ、イオンビームリソグラフィ、電子ビームリソグラフィもありました。最終的に業界はEUVに収束しました。これが最良の決定だったかは完全には明確ではありませんでした。当時入手可能な情報と、この技術を開発している国々の産業構造に基づいて最良の決定でした。
ルイーザ・ロドリゲス: なるほど。そうですね。
シハオ・ファン: 現在私たちが持っている情報は非常に異なります。中国の産業構造は世界の他の地域とは非常に異なります。もし中国がチップの国産化に大きなリソースを投入すれば、半導体デバイスをより効率的で高度にする他の方法を見つける可能性があります。
ルイーザ・ロドリゲス: 中国の関連アクターが半導体サプライの国産化についてどのように考えているかについて、何か感じることはありますか。これは最優先事項になる可能性が高いですか、それともそのようなトレードオフをするかどうかは明確ではありませんか。
シハオ・ファン: 半導体の国産化は過去数年間、中国にとって大きな優先事項でした。これは国が打ち出した政策に見られると思います。以前、ビッグファンドについて簡単に触れましたね。半導体ビッグファンドは1000億ドル以上の投資を半導体産業に行いました。そして、これは国レベルだけでなく、地方レベルでも行われています。これは中国の政策を考える上でしばしば見逃されがちなポイントだと思います。広東省政府、上海市政府、それぞれが地元企業に投資するための独自の半導体ファンドを作りました。そして、中国版TSMCをホストする省になるために、異なる地域間で競争のダイナミクスがあります。
中国は過去数年間、半導体開発をさらに強化しました。ビッグファンドは複数のフェーズで行われています。フェーズ1は、300億から400億ドルの投資だったと思います。そして、フェーズ2では、中国はその投資コミットメントの額を再び繰り返し、戦略を少し変更しました。なぜなら、異なる省がそれぞれ独自のTSMCバージョンを持とうとする非効率性と底辺への競争があったからです。
非常に有名な例として、武漢政府が詐欺にあいました。HSMCという会社が2人の人物 - 1人はアルコール販売業者で、もう1人は小学校卒業の教育しかない - によって設立されました。彼らはTSMCのR&D副社長を迎えたと主張しました。ASMLのリソグラフィ装置を購入し、全体の除幕式を行い、その後リソグラフィ装置を銀行ローンのために返却しました。そして、5ナノメートルと7ナノメートルのチップを製造していると主張する構造にファブが建設されましたが、すべてが破産しました。武漢政府は20億から80億ドル、正確な額はわかりませんが、その過程で損失を被ったと思います。
ルイーザ・ロドリゲス: ああ、神様。
シハオ・ファン: そこから出てきたのは、半導体ビッグファンドの大きな汚職スキャンダルでした。多くの取り締まりがありました。半導体ビッグファンドの最も重要なアクターの1つは清華ユニグループで、これは清華大学独自の大学ヘッジファンドあるいは投資ファンドのようなものです - そのファンドのリーダーが逮捕され、投獄されました。同じエコシステムの他の多くの人々が[中央規律検査委員会]による調査を受けました。
しかし、そこから読み取るべき非常に重要なシグナルは、その後、中国がビッグファンド3号でさらに投資を大幅に拡大し、戦略を変更して、チップ設計だけでなく、明示的に半導体の国産化に焦点を当てるようになったことです。
つまり、中国側には半導体を国産化しようとする多くの意志と粘り強さがあると思います。Huaweiや他の中国の国有企業など、多くのアクターが国産EUVマシンの構築を試み、サプライチェーン全体を国内で構築し、アメリカの輸出規制を回避しようとしている様子が見られ始めています。
そのため、現在の輸出規制が完全な解決策ではないことに注意することが非常に重要だと思います。これは非常に動く標的であり、中国が戦略を変更するにつれて、私たちも戦略を対応して変更し、それらを更新し続けるために米国は多くのリソースを必要とします。
ルイーザ・ロドリゲス: なるほど。私の要約の試みですが：半導体に関しては、今後数年間、中国のサプライチェーンがアメリカのサプライチェーンに追いつくか維持するのは非常に難しいように見えます。しかし、今後5年間で、彼らは非常に多くの投資を行っており、技術的に創造的な機会が十分にあるため、同様の目的を達成するための異なる種類の技術を開発する可能性が十分にあります。したがって、これらの輸出規制が引き続きその機能を果たすことを望む人々にとっては、最終的に開いてしまうギャップに対処するために更新されなければなりません。これは公平な要約でしょうか。
シハオ・ファン: その通りだと思います。輸出規制は彼らにかなりの打撃を与えており、高度なAIシステムを開発する能力に測定可能な影響を与えています。しかし、技術予測は本当に難しいです。特に将来のことであれば。そのため、これらの政策がすべて更新され、彼らが何をしているかを注意深く見守る必要があります。
ルイーザ・ロドリゲス: わかりました。それを踏まえて、中国が近い将来、半導体サプライチェーンを国産化する可能性はどの程度だと思いますか。
シハオ・ファン: 中国がこれらのものを国内で構築できるようにするには、本質的に半導体サプライチェーン全体 - 日本、ドイツ、韓国、台湾、オランダ、米国の企業で構成されている - を1つの国の国境内に移動させる必要があります。その国のGDPは米国の約6分の1です。
ここでは、産業政策が比較優位に従うのではなく、比較優位と戦っているのが見られます。なぜなら、中国の産業構造はある意味でまだ西側ほど進んでいないからです。
中国が国産の極端紫外線リソグラフィ装置を構築したいと思えば、単に機械自体を構築し、EUV光源を開発し、鏡を作るだけではありません。鏡を研磨する機械も開発する必要があります - これには多くの精密な機械部品、線形運動部品、ベアリングが関係します - そして、これらの精密部品を作る会社がドイツや日本と同じレベルにはありません。
つまり、単一の機械を国産化するだけでなく、高度な経済全体を国境内で国産化することが必要なのです。そしてそれは本当に難しいです。中国はそれを潜在的に行うことができます。中国がEUV装置を作ることは不可能だと言っているわけではありません。西側でこれらのシステムを開発するのにかかった投資の大まかな順序を見ると、ほとんどの計算では、EUV装置の開発には100億から200億ドルかかったとされています。まあ、アポロ計画は約5000億ドルのオーダーでした。
そのため、中国が本当にこれをやりたいと思えば、できるでしょう。中国が本当に高度な半導体を国産化したいと思えば、できるでしょう - しかし、非常に高いコストがかかり、非常に長い時間もかかるでしょう。ここでの問題は、1つ目は、非常に高度なAIシステムを構築し、AI開発をスケールアップするのに間に合うかどうかということです。そして2つ目は、これを行うコストが価値があるかどうかです。
ルイーザ・ロドリゲス: そうですね。基本的に、私はあなたのこれらの2つの質問に対する意見を聞きたいです。中国の当局者たちは、それが価値があると考えるでしょうか。そして、もしそう考えるなら、彼らのタイムラインはどのようなものになるでしょうか。
シハオ・ファン: 短期的には、中国の半導体産業がどのように展開するか、あるいは中国のコンピュート能力がどのようにスケールアップするかについて、かなり明確に分かっています。つまり、彼らは単純に国内の生産能力によってかなり制限されているということです。
米国の輸出規制が2022年と2023年にこれらの高度な半導体製造装置の輸入を厳しくする前、中国はチップを印刷するために使用するこれらの高度なリソグラフィ装置の輸入と備蓄を開始していました。中国国内にあるこれらの機械の数は非常に限られており、少なくとも今後数年間は製造することができません。つまり、今後数年間、中国の半導体ウェハーを製造する能力は、世界の他の地域の1桁か2桁少ないオーダーであるということが分かっています。
これらはまた、台湾のTSMCや米国のIntelで製造されているものよりも進んでいないプロセスノードのウェハーです。そのため、中国が国産チップだけを使用して最大のコンピュートクラスタをスケールアップできる範囲には、かなり厳しい上限があります。
しかし、より長期的な視点、例えば2030年以降を見ると、中国は潜在的に極端紫外線リソグラフィを国産化できるでしょうか。中国は潜在的にEUVリソグラフィを使用せずに、他のプロセスを使用して高度な半導体に到達しようとするかもしれません。なぜなら、技術開発には非常に大きな経路依存性があるからです。私はその答えはおそらくイエスだと思います。そして、彼らはAIが国家の最優先事項、つまり国力の最も重要な予測因子であると本当に考える世界では、おそらくこれを試みるでしょう。
ここでの参考点は、彼らがAIをどれほど重要だと考えているか、人民解放軍の現在の拡大、ミサイルや核抑止力の構築、航空母艦の建造と比較してどうかということです。なぜなら、それは潜在的に異なる場所にシャッフルされる可能性のある莫大な金額だからです。しかし、最終的に、中国が国内の半導体エコシステム全体を国境内に収めたいと思えば、それは非常に大きな経済的コストを伴うでしょう。
ルイーザ・ロドリゲス: そうですね。中国の指導部がこれらのトレードオフについてどのように考えているか、何か感じることはありますか。
シハオ・ファン: これを判断するのは非常に難しいと思います。そして、もしそうだとしても、彼らはおそらくこれらの選好を簡単に明かさないでしょう。
ルイーザ・ロドリゲス: なるほど。
シハオ・ファン: 短期的には、中国は半導体産業やAI産業にさらに投資する能力に制約に直面していると思います。中国のマクロ経済環境は過去1年か2年間、あまり良くありませんでした。そして、この資金の多くが実際に省政府や地方政府のような地方の源から来ているため、彼らの財政状態は非常に不安定な状態にあり、AI開発や半導体産業へのさらなる投資を大幅に拡大することに消極的です。
これは、中国の政策立案者が現在直面している経済的制約を示唆しています。しかし、中国が異なるパラダイムでこれに取り組む可能性は確かにあります。中国はかつて、経済刺激策として国内のインフラ - 橋や鉄道、地下鉄駅の建設 - を行っていました。彼らはポテンシャリーにコンピュートクラスタやリソグラフィ装置を構築することで経済刺激を行うように方向転換できるでしょうか。私はイエスだと思います。そしてそれは多くの経済的非効率性を伴う可能性があります。そして、これらの刺激方法を通じて経済に注入される1ドルごとに、GDPの産出としてどれだけ得られるかという疑問は常にあります。
しかし、中国の指導部がこれらのサプライチェーンの独立性が国家安全保障にとって非常に重要になるため、これらのトレードオフが価値があると考えるなら、政策の転換は確かに可能です。
ルイーザ・ロドリゲス: そうですね。例えば、計算ギャップを埋めることなく、より高度なAIシステムを開発できるようなアルゴリズムの breakthrough を彼らが達成する可能性はありますか。
シハオ・ファン: 中国は確かにより高度なAIシステムを構築することができ、アルゴリズムの breakthrough の可能性は確かにあります。全体として、私は米国や英国の開発者の方に賭けるでしょう。しかし、1つは計算能力をスケールアップする複数の経路があり、2つ目は高度なAIシステムを構築する複数の経路があるという事実を非常に認識する必要があります。
そして広く言えば、技術開発は非常に経路依存性が高いのです。これは様々な技術や産業で見られてきたことです。典型的な例の1つはリチウムイオン電池です。リチウムイオン電池は、この1つのプラットフォームを改善するために毎年数百億ドルを投入してきた巨大な産業によって推進されてきました。他の代替エネルギー貯蔵ソリューションがたくさんありますが、リチウムイオン電池が通常勝利を収めてきました。
シリコントランジスタについても同じことが言えます。フォトニックコンピューティング、DNAコンピューティング、生物学的基板の提案がありましたが、毎年ムーアの法則を維持するために投資された数千億ドルには太刀打ちできません。そしてそれが他の多くのイノベーションを窒息させてしまいました。
AIに関連する例は、米国では、より大きなLLMを構築するスケーリングパラダイムに非常に多くのお金が投入されているということです - そしてそれは単に計算能力へのアクセスがあるため、このアプローチを試す価値があり、非常に有望だからです。しかし、高度なAIシステムを構築する他のアプローチへの投資が不足している可能性があります。
中国は歴史的に、ニューロモーフィックコンピューティング、脳-コンピュータインターフェース、脳にインスパイアされたコンピューティングとエミュレーションの研究で非常に強力でした。中国の最大のAIラボの1つである北京人工智能研究院（BAAI）は、現在多くのLLM作業を行っていますが、以前は大きな脳エミュレーションと脳にインスパイアされたラボでした。
そのため、中国は西洋のラボとは非常に異なる探索/活用のトレードオフに直面している可能性があります。これらのすべての計算リソースがないため、単純に計算能力で米国と競争することでフロンティアに到達できないことを知っているため、より強力なシステムに到達する他の方法を探索しようとするでしょう。
長期的にこれがどのように展開する可能性があるかを描くと、もし中国が最終的にAGIに最初に到達する方法を描くとすれば、おそらく米国が何らかのAIの冬に入る - GPT-5が失望的であるか、マクロ経済の逆風のために - 一方で中国は代替のAI手法に多くの研究を行い、また多くのこれらのAIサービスを経済に統合することができ、実際にそれを継続するためのビジネスケースがあるというようなものかもしれません。そして、この資金調達が、より強力なエージェントAIシステムを構築する他の道筋と組み合わさり、おそらく国産半導体や計算プラットフォームの breakthrough と組み合わさることで、最終的に変革的なAIシステムを最初に構築することができるかもしれません。
しかし、繰り返しになりますが、基本的なケースでそれに賭けるとは思いません。
ルイーザ・ロドリゲス: そうですね。あなたが言ったように、それは狭い道です。さて、中国のAIガバナンスに話を移しましょう。AIレースで中国が米国に勝つことを心配している人もいますが、他の人々は中国が実際には米国よりもAIをはるかに規制していると反論し、政府の管理欲求が実際には全体的により遅い進展を確実にすると言います。そして、あなたはすでにこれをほのめかしていますが、全体として、中国政府はAIアプリケーションを米国よりも多く規制していると言えますか、それとも少なく規制していると言えますか。
シハオ・ファン: 現時点では、彼らは確かに米国よりもAIを多く規制していると思います。特に初期の頃、ChatGPTが登場した直後、彼らは生成AIに関するCACの規制案で本当に厳しく対応しました。これらの多くは、以前話したように情報管理に焦点を当てていました。中国は、現在法的に施行可能な種類のAI規制を持つ最初の国であり、唯一の国の1つです。
ただし、この点についてはあまり誇張しないよう注意する必要があります。現在、より軽いタッチで調整している兆候があると思います。CAC規制が最初に草案ルールとして発表されたとき、例えば社会的バイアスについて非常に強力な規制がありました。保護されたグループについて言及し、これらのAIシステムが性別や国籍、民族的起源に基づいてバイアスがかかっていないことを確認するというものでした。また、AIシステムが単に安全性コンテンツフィルターで後処理されるのではなく、実際に30日以内に微調整されて、この有害なコンテンツを取り除くことを確認するなどのルールについても言及していました。
産業界からのいくつかのラウンドのフィードバック後、これらの最も厳しい規制の一部がCACの暫定規則から削除されたのを見ました。これは中国でも起こっているより広範なトレンドだと思います。過去数年間、特に2018年、2019年以降、中国はテクノロジー企業に対して本当に厳しく対応してきました。中国の教育技術企業の解体、ゲーム産業の解体、そして推薦アルゴリズムに対する非常に強力な規制がありました。
しかし、2022年、2023年以降、中国のマクロ経済状況がCOVID後本当に良くなく、米国と英国がAIで本当に先行していると中国が認識したとき、彼らはそのアプローチを少し調整しています。中国のAI規制が依然として情報管理を確実にし、CCPが情報環境を非常に厳密に規制できるようにすることに重点を置いているという、より広範なトレンドが見られます。しかし、社会的影響やAI安全性に関する他の規制については、中国からあまり出てきていません。中国が次にどこに向かうかはまだ分かりません。
また、中国政府もこれらのAIシステムの投資家であり、顧客でもあり、これらのAIシステムのための計算能力も提供していることに注意する値します。つまり、彼らは非常にイノベーションシステムの観点からこれを見ています。共産党を権力の座に維持するために必要なものと、米国と競争力を維持するためにこれらのシステムを十分に進歩させることとの適切なバランスをどのようにとるかということです。
ルイーザ・ロドリゲス: そうですね。つまり、ここに興味深い緊張関係があります。一方では、政府があらゆる種類のAI開発企業と非常に密接に結びついているため、これは比較優位性があります。非常に相互接続されたシステムなので、非常に簡単かつ効果的に展開できます。一方で、彼らは非常に相互接続されているため、実際にこれらのシステムをどのように展開するかを理解するという現実にぶつかったとき、彼らが最初に想像していたような規制を維持するインセンティブはありません。
シハオ・ファン: その通りです。また、これらの中国の規則の多くにあいまいさの現象が見られます。いくつかのルールには実際に多くの余裕が書き込まれています。例えば、データが「真実で偏りがない」というCACの規制の文言をどのように確認するのでしょうか。答えは、確認できないということです。多くの場合、これらの企業は公の事件が起きた後や、特定の機関が彼らの製品に対する調査を発表した後に問題に巻き込まれます。これは中国のシステム内での汚職の余地です。
また、これらの規制が企業に対してどれほど強く適用されるかを、その時々の政治的ムードや経済的ムードが決定する余地でもあります。
ルイーザ・ロドリゲス: なるほど。ちょっと一歩下がって、中国のガバナンス状況の全体像を把握できますか。過去5年間の中国のAI規制の状況における主要な進展を説明していただけますか。
シハオ・ファン: 多くの中国の省庁や機関がAI倫理やAI基準などに関する規則を出していますが、本当に執行力のあるものは、中国のインターネット規制機関であり、実際にはインターネット検閲機関でもあるサイバースペース管理局（CAC）が出した3つの規則のセットです。これらは推薦アルゴリズム、ディープシンセシス（またはディープフェイク）システム、そして最後に2023年に出た生成AIをカバーしています。
ルイーザ・ロドリゲス: そうですね、実際にこれらについて1つずつ話すことはできますか。これらの規制について少し知っていますが、実際にはすべての文脈を持っているわけではありません。アルゴリズムに関する規制は何でしたか。
シハオ・ファン: 推薦アルゴリズムの規則は本当に2つのことに対処するためのものでした。中国のニュース環境を管理し、これらのアルゴリズムの性質に対する政府の監督をCACが確実に行い、社会的にポジティブまたはネガティブなエネルギーを受けやすいコンテンツのタイプを決定する能力を与えることに重点を置いていました。
また、ギグワーカーやデリバリーワーカーに関する少し別の懸念にも焦点を当てていました。多くの価格差別が行われていました。これは実際に非常に興味深いトピックで、中国の経済に興味がある場合は深く掘り下げる価値があると思います。中国ではギグワーカーの労働権に関する多くの懸念がありました、あるいはありました。
中国に一定期間滞在したことがあれば、非常に便利な配達サービスがあることがわかるでしょう。これは北京で研究をしていた学生だった私にとって非常に危険でした。非常に安い価格で本当に良い食事を手に入れることができます。
しかし、その裏側は、配達ワーカーがほとんど賃金を受け取っておらず、労働者保護もほとんどないということでした。例えば、あなたの食事が持ち去られた場合、罰金を払うのは配達ワーカーです。そして、これらの都市で配達ワーカーとして生活賃金を得ることは間違いなくできません。非常に多くの場合、北京や上海のような都市に入ってくる村や下位都市からの出稼ぎ労働者です。
ルイーザ・ロドリゲス: なるほど。そのメカニズムは何だったのですか。推薦アルゴリズムが労働力の余剰が非常に多かったため価格を非常に低く設定し、これらの仕事をする人が生活できる賃金を確保するような保護がなかったということですか。
シハオ・ファン: その通りです。また、これらのギグワーカーがこれらのテクノロジー企業に対して実際に抵抗したり意見を表明したりする能力がほとんどないという現象もありました。中国が共産主義国家だと主張しているにもかかわらず、オンラインの反体制派、つまりこれらの規制が抑えようとしている所謂「ネガティブエネルギー」を抑圧しているからです。これは、長期間にわたってこれらの問題が対処されないままであったことを意味し、それが本当に表面化し、CCPが国家の力を脅かす可能性のあるテクノロジー企業の力を抑えるために取り締まりを始めることが彼らの利益になると認識するまで続きました。
ルイーザ・ロドリゲス: ああ、なるほど。
シハオ・ファン: はい。これがCACから出た最初の大きなAI規制のセットだったと言えるでしょう。また、「アルゴリズムセキュリティレポート」と呼ばれるツールも作りました。この時点では自主的なものでしたが、企業にアルゴリズムの性質、入力と出力についてのレポートを提出するよう求めました。
そして次の規制のセットが2022年に出ました。覚えているかもしれませんが、これはStable DiffusionやDALL-Eのような画像生成ツールやディープフェイクツールが出てきた頃です。これらの規制は、実名ユーザー認証のような要件を導入し始めました。
つまり、中国のユーザーがオンラインツールで画像を生成したい場合、国民IDナンバーを入力する必要があります。そして、「習近平が一輪車に乗って天安門広場の前にいる画像を生成してください」と入力すると、これがデータベースに記録され、私のIDに紐づけられます。
この規制のセットはまた、違法な入力を認識するための特性のセットを作成し、サービスプロバイダーに「国家安全保障関連コンテンツ」や特定の敏感な性質のシーンを生成する能力を評価すること、あるいは生体認証関連や身元関連のコンテンツを生成するものを評価することを義務付けました。後者の部分は恐らく良いAI規制だと思います。前者の部分は、再び、この情報管理の路線を継続しています。
ルイーザ・ロドリゲス: 後者の部分はディープフェイクに関するものですね。つまり、実在する人間の生体マーカーを持つコンテンツを作成している場合、それを注記し、他人の姿を借りてコンテンツを作るべきではないので、それを作成することを許可しないということですね。それがアイデアですか。
シハオ・ファン: はい。そして、3つのことの組み合わせだと思います。1つ目は、これらのシステムにウォーターマークが付けられるということです。2つ目は、特定のシステムを作ることは許可されず、コンテンツフィルターによって拒否されるということです。そして3つ目は、少なくとも規制では、生成システムに違法なコンテンツを入力した場合、それをあなたのIDに紐づけ、データベースに記録できるとしています。
ルイーザ・ロドリゲス: その一部は良いと思います。
シハオ・ファン: そして他の部分は非常に恐ろしいですね。
ルイーザ・ロドリゲス: そうですね、その通りです。はい、それは恐ろしいです。私はDALL-Eで常に画像を生成していますが、私が生成するすべての画像に社会保障番号が紐づけられるという考えはあまり嬉しくありません。
シハオ・ファン: その通りです。
ルイーザ・ロドリゲス: わかりました。それが2番目の規制の波でした。3番目は何でしたか。
シハオ・ファン: 3番目はChatGPTが登場してわずか数ヶ月後に出ました。地上の多くの政策立案者たちがこのシステムにどう対処すべきか本当に混乱していたと思います。なぜなら、この能力レベルと広範なアクセスを持つ言語モデルは非常に新しいものだったからです。ニュースアグリゲーターが人々が何を見るかをコントロールできないという理由で恐ろしかったとすれば、潜在的に西洋のインターネットの膨大な量でトレーニングされた言語モデルはCCP官僚にとってさらに恐ろしいものです。
これらの規制は、少なくとも草案の形で2023年の初めに出され、モデルは社会主義的世界観に従わなければならない、トレーニングデータは「正確で、客観的で、多様」でなければならない、また「世論特性」を持つシステムは安全性審査を受けなければならないなどと規定しました。
ルイーザ・ロドリゲス: わお。そして、これらの規制が確実に理解されるようにするために、これらの規制は中国の生成モデルのためのものです。中国の市民はChatGPTやClaudeのような西洋のものにアクセスできますか。
シハオ・ファン: アクセスできないはずですが、実際にはしています。Baiduで「ChatGPT」と入力すると、ChatGPTは見つかりませんが、「ChtPT」が見つかります - そしてそれはChatGPTにアクセスする方法です。単にChatGPTのスペルミスですが、GPT-4のAPIを使用しています。これらのシステムは常に禁止されますが、新しいバージョンを見つけることができます。そしてもちろん、中国の市民はVPNを使用して外部のインターネットにアクセスします。実際、多くの開発者と話をすると、彼らはGPT-4を使用しています。Baiduのサービスは使用していません。
ルイーザ・ロドリゲス: なるほど。つまり、これは西洋のモデルには適用されません。なぜなら、理論上はそれらのモデルにアクセスできないからです。実際にはアクセスできますが。いずれにしても、ここで主に話しているのは、中国で開発され許可されたモデルに適用される管理についてです。そして、これらは基本的に生成モデルが中国共産党の世界観の下で許可されていることだけを言うようにすることを確実にするものです。
シハオ・ファン: そして、ここには2つの非常に重要な注意点があると思います。1つ目は、これらの規則は公に展開されたモデルを指しており、開発者が自分たちのラボ内でこれらのモデルをトレーニングすることには適用されないということです。AI安全性について考える際に、これは重要な注意点だと思います。つまり、これは社会的影響を規制するかもしれません、少なくとも中国版の社会的影響を。しかし、これはAI開発活動を必ずしもカバーすることを意図していません - 特に中国が中国のAI企業が追いつくのに可能な限り障害を少なくしたいと考えているからです。
ルイーザ・ロドリゲス: なるほど。つまり、これが関連する理由は、例えばこの規制について聞いて、「これは理論的にどの程度、私たちが実際に避けたいと思うようなAIの安全でない展開と開発を防ぐために適用できるのか」と考えた場合、単に検閲だけでなく、実際にはうまく機能しないということですね。なぜなら、安全でないモデルの展開は防げても、安全でないモデルの作成とトレーニングは防げないからです。つまり、私たちが気にしているこの領域で役立つようにしたいと思っても、これは大きなギャップのように見えます。
シハオ・ファン: その通りです。これらの規制の一部として開発された官僚的構造とツールは、AI安全性規則について考え始めたい場合に非常に強力になると言いたいと思います。
ルイーザ・ロドリゲス: それについてもう少し詳しく説明していただけますか。これらの規制は、あなたと私が実際に規制したいと考えているAIの特徴にどの程度関連していると感じますか。
シハオ・ファン: これらの多くは実際にAI安全性規則にかなり隣接しています。また、AI安全性は共産党の利益と非常に一致していると言うのも公平だと思います。
AIシステムが世界に害を与える可能性のある一般的な方法について話すと、例えば将来、インターネット上で多くの混乱を引き起こし、説明責任がなく、個人の身元に紐づけられていないAIエージェントがあるとしましょう。これはCCPが気にすることのように思えます。特に責任追跡の観点から考えると。
AIシステムがサイバー攻撃を行ったり、テロリストが生物兵器の拡散を可能にするために使用したりする可能性について考えると、これも中国が非常に懸念することのように思えます。なぜなら、これらの安全性インシデントは歴史的に権威主義国家とその正当性にとって非常に大きな問題となってきたからです。ソ連時代のチェルノブイリのことを考えてみてください。
中国でのCOVIDの発生を考えてみてください。これは本当に大きな政治的危機となり、最終的には天安門広場以来最大の抗議につながりました。
そのため、中国政府には、私たちと同じようにAI安全性について考え始めるインセンティブが確かにあると思います。これらのシステムが制御され、誤用されず、本質的に安全な方法で設計されることを確実にすることです。そして、私たちはそれが始まっているのを見始めている兆候があると思います。
例えば、標準作成機関であるTC260が出した標準を見ると、AIの長期的リスクについて言及し、AIサービスプロバイダーに「特別な注意を払う」よう呼びかけています。人間を欺く能力、自己複製、自己変形、そしてサイバーやCBRN（化学・生物・放射線・核）領域におけるAI能力について言及しています。これは、私たちが中国が有害なAIシステムとしてグローバルコモンズに漏らさないよう確実にしたいと考えているものとまさに一致しています。
しかし、これらはまだ直接的に執行可能ではありません。そして、これらの中国の機関が持つ強力な執行権限を通じてこれらが執行可能になることは、非常に手の届くところにあるように思えます - そして、グローバルな規制を同期させるために多くの作業ができることだと思います。
ルイーザ・ロドリゲス: とても興味深いです。つまり、これらは標準です。まだ規制ではありませんが、少なくとも中国で法的拘束力を持つようになる道筋があると考えているのですね。そして、最後に言ったのは、これらの種類の標準が理論的に国際的なガバナンスフレームワークに取り入れられる可能性があるということですか。
シハオ・ファン: はい。中国にこれらのAI安全性規則に署名させ、これらの規制を国際的に調和させようとすることは、現在特に興味深い協力の側面だと思います。なぜなら、現在の中国のAI規制で見られるより独特なことの1つは、それらが非常に浸透性が高いということだからです。
例えば、実際に国務院を通過する新しい一連のAI法が準備中であり、これらのAI法に関する公開草案が現在、さまざまな学者によって回覧されています。例えば、中国社会科学院の学者チームによって回覧されている一連の法案草案があり、もう1つは中国政法大学の学者が率いるものだと思います。そして、これらの多く人々がトラックツー対話や公式チャネルで米国や英国のAI研究者と対話を行い、また例えばAIに関するホワイトハウスの大統領令やブレッチリーサミットから出てきた多くの作業を読んでいます。
そのため、これらのアイデアが中国のシステムに浸透し始め、中国の学者によって提起されているため受け入れられ始めているのが見え始めています。そして、以前に話したように、これは時々中国の実際の利益と非常に一致しています。
私たちは、1つ目には中国政府がこれらのリスクを実際に内在化すること、そして2つ目には、規制システムをプロセスと目標の観点からどのように設計しているかが相互運用可能であることを確実にすることが、私たちの仕事の一部だと思います - そうすることで、ある時点で十分な政治的資本や必要性があってこれらを国際機関にまとめる場合、私たちはすでに互いに対話するための非常に堅固な基盤を持っているということです。
ルイーザ・ロドリゲス: それは本当に、本当に興味深いです。私たちの前にある障害を克服し、これらの規制の一部を実際に実現させる可能性はどの程度だと思いますか。
シハオ・ファン: 私たちが話したAI法は、中国がAI開発を妨げる部分を本当に恐れて足踏みしない限り、いつかは中国で通過する見込みがあると思います。これはCAC規則で以前に起こりましたが、現在彼らがフロンティアにいないことを考えると、これは中国にとってそれほど高いコストではないように思えます。
そして、異なる国々の間で行われている多くの国際的な関与作業 - 英国と中国の対話や、米国と中国の対話 - のおかげで、これらのアイデアが浸透し、最終的に標準が同期され、機関間で調和されるようになることを私は期待しています。
ルイーザ・ロドリゲス: 一般的に、中国の国内AI政策にはいくつかの本当に良い点があるようですね。具体的に何がうまくいっていると思いますか。
シハオ・ファン: 中国のAI規制が持つ最大の利点は、これらの規則を非常に迅速に押し出すことができることだと思います。先ほど話したように、CACは数ヶ月で対応しました。最大の欠点は、民主的な立法プロセスを経ないため、説明責任が非常に低いことです。
しかし、中国に多くの称賛を与えるべき1つのことは、AI安全性の懸念について話し、国際社会が気にしている問題に対処することに非常に受容的であったということだと思います。科学技術省や政府の諮問的役割を担う多くの科学者たちが、例えば国連や自国の内部文書でAIリスクについてかなりオープンに話しているのが見られます。
彼らはまた、AI安全性/AIセキュリティという概念を確立しました。そして実は、これは興味深い点で、中国語で安全性という言葉「安全」は、セキュリティという言葉と同じです。そのため、政府が国内セキュリティや政治的セキュリティという意味でセキュリティについて非常に懸念している一方で、AI安全性コミュニティによってAIセキュリティという同じ用語がこれらの追加の懸念について話すために流用されています。そして今、これらの問題についてオープンに話し、潜在的に将来の規則に組み込むための国内の勢いがたくさんあると思います。
ルイーザ・ロドリゲス: わかりました。では、中国の国際的なAIガバナンス戦略に話を移しましょう。北京は、AIをどのように統治し規制したいかについて、国際レベルで何かアジェンダを押し進めていますか。
シハオ・ファン: 確かに、現在AIガバナンスに関する新たな戦略が出現していると思います。北京のAIガバナンス戦略を国際的に2つの部分に分けて考えています。
中国の目標の1つ目は、「責任あるAI開発者」としての一貫した外交政策の立場を作ることです。そしてこれの多くはシグナリングに関するものです。例えば、中国の古いAIの国際的な関与の多くは2016年から2021年に出てきたもので、大規模監視や人権について言及していました。
非常に興味深いものの1つは、2021年のUNESCOの宣言で、中国はAI技術を使用した大規模監視の終了を呼びかけることに署名しました。そのため、AIに関する最初の外交政策の立場の多くは、私が思うに、AIについて話す世界的なトレンドを非常によく反映していました。2021年以前は、AIの倫理と人権について話していました。データプライバシーやアルゴリズムの公平性について、DeepMindからの政策文書と同じように期待されるような方法で議論していました。そして2022年、2023年には、AI安全性/セキュリティについてより多く話し始めました。
国連でのスピーチでは、リスクを防ぐために協力すること、テロリストによる誤用と戦うことについて言及しました。再び、国連安全保障理事会で、スーパーインテリジェンスが私たちを攻撃しないようにする必要があり、私たち自身を守る理由を与える必要があると言及しました。
また、「全ての人のためのAI」という修辞もあります。つまり、発展途上国はこの技術の恩恵を受ける権利があるということです。そして、これらすべてが私にとっては、中国がAIの外交政策に関するシグナリングが基本的に国際的な発展に遅れを取らないようにし、責任あるAI大国であることを示そうとしているという1つのバケツに入ると思います。
しかし、2つ目のバケツは、中国には実際にいくつかの中核的なAI利益があるということだと思います。そして、ここでのAI利益は本当にいくつかのことです。1つは、AI技術へのアクセスを確保することです。例えば、2023年10月に北京が発表した「グローバルAIガバナンスイニシアチブ」で - これは英国でのAI安全サミットのわずか数週間前に、100以上の発展途上国が集まる「一帯一路」イニシアチブで発表されました - 中国は「すべての国は、その強さ、規模、社会システムに関係なく、AIを開発し使用する平等な権利を持つべきだ」と発表しました。また、国連で、ある特定の先進国が覇権を求めるために、これらの新興技術の周りに小さなクラブを作ろうとしていると言及しました - これは非常に具体的に、米国とAIに関する輸出規制を指していると思います。
そのため、AIへのアクセスが非常に重要であるという広範な物語を押し進めています - これは真実であり、私たちは絶対に認識する必要がありますが - それを米国との対立や米国の外交政策と結びつけています。
しかし、2つ目のバケツはAIの主権という考えです。つまり、独自の条件でAIを統治する能力を非常に欲しています。AIは国の独自の社会的特性に基づいて規制されるべきだと言っています。これは基本的に「私たちを一人にして、社会主義的価値観でAIの規制を行わせてください。そしてそれについて批判しないでください。また、AIを使って私たちの世論を操作したり、誤情報を広めたり、私たちの内政に介入したりしないようにしてください」ということです。
そして、3つ目のバケツはAIセキュリティだと言えるでしょう。AIガバナンスイニシアチブでは、テロリストによるAIの誤用と戦うこと、AIが常に人間の管理下にあることを確保すること、そして監視・レビュー可能な信頼できるAIシステムを構築する必要があることについて言及しています。これも再び、共産党の中核的な利益と非常に一致しています。そして、この3つ目のバケツで、私たちは多くの協力ができると思います。
ルイーザ・ロドリゲス: 興味深いです。では、米国や英国の政策立案者は、中国政府と国際的なAIガバナンスについてどのように調整すべきか考えてみましょう。まず、西側の政策立案者が中国政府と一緒に国際的なAIガバナンスをどのように構築するかを考える際に、どのような目標を目指すべきか興味があります。西側の政策立案者が中国のAI能力とガバナンスに関して念頭に置くべき、あなたが強固に良いと思う近期の目標は何ですか。
シハオ・ファン: 最近のAIガバナンスで非常に興奮する進展の1つは、異なる国々にAI安全研究所が設立されたことです。カナダには1つあり、米国には1つあり、英国には1つあり、日本にもあります。そしてシンガポールも設立を検討していると思います。これらのAI安全研究所は、各国内でモデルの安全性と評価を調整し、長期的にはAI安全性研究にも資金を提供する可能性のある組織です。
しかし、中国も同様の組織を持ち、他のAISIと連絡を取り合って経験を共有し、最終的に規制を調和させ、政治的意志がある場合には、AIシステムがどのように構築され展開されるべきかについての基本的なルールを国際的に統合されたガバナンスに向けて推進することができれば非常に良いでしょう。
そのため、中国と話をする際の近期の目標として良いと思うのは、彼らにも何らかのAI安全性調整機関を作ってもらうことです。私たちは以前、中国にはすでにAI規制のための多くのインフラがあると話しました。これは潜在的に、例えば工業情報化部や科学技術部の下に設立される機関の形で実現できるかもしれません。中国が現在情報管理に持っているものの上に、AI安全性規制を構築し推進するための作業を集中させるような機関です。そして、その後、中国が将来のAI安全サミットや国連に代表団を送る際の連絡窓口となり、AIの規制がどのように行われるべきかについて共通の基盤を持てるようになります。
ルイーザ・ロドリゲス: なるほど、面白いですね。他に良いと思われる目標はありますか。
シハオ・ファン: 米国と中国が協力して行うことが本当に良いと思うのは、中国がAIに関するホワイトハウスの自主的コミットメントの拡大版に署名することです。これらは、これらのAIモデルを評価するための外部および内部のレッドチーミングシステムを作成する政策またはコミットメントでした。各国でフロンティアモデルの安全性をチェックできる独立評価者のエコシステムを構築すること。企業と政府の間に内部的な信頼と安全性のリスク共有チャネルを構築し、フロンティアAIがもたらす可能性のある危険性についてより良く情報を得られるようにすること。そして、拡大された安全性研究への投資も含まれます。
また、中国に、例えば各企業内での責任あるスケーリング政策に署名してもらいたいかもしれません。AI安全性レベル、モデルに適用される保護措置、AI システムの展開を続けるには危険すぎると判断される条件などを共同で定義することです。
ここで正しい枠組みは、単に中国にアメリカのホワイトハウスのコミットメントに署名してもらうだけでなく、中国の企業が行ったコミットメントや中国がAI開発者に求めたことで、私たちにとっても有益なものを特定できるかどうかということです。そして、これを一種の外交的な交換として構成し、「私たちがより多くの安全性を行うなら、あなたたちもより多くの安全性を行う」というように、相互交換で互いに学び合うのです。
ルイーザ・ロドリゲス: わかりました。より長期的な目標について考えると、あなたが強固に良いと思う長期的な目標はありますか。
シハオ・ファン: 念頭に置くべき最も重要な長期的な目標は、いかに継続的な対話と信頼構築を行うかだと思います。これには2つの理由があります。1つは、米中関係が非常に不安定であり、特に危害が生じた際に、両側が互いに協力し、誰に電話をかけるべきか、これらの決定を下している人々を知っていることを確実にしたいからです。
2つ目の理由は、技術開発と潜在的な新技術の害に対処するための政策対応を予測することが非常に困難だからです。通常、現在成熟しているものについては1年か2年先しか見えません。例えば、モデル評価は過去数年間でかなり成熟し、国際的な舞台で多く推進されてきたと思いますが、AI安全性を保証するために必要なすべてではありません。バイオやサイバーのリスクも具体化し始め、現在は防御に関するベンチマークにある程度定式化されています。システミックリスクや過度の依存に関する成長中のコミュニティもあり、私はそれについてかなり興奮しています。そして、計算ガバナンスも重要なレバーとして浮上しています。
しかし、地平線上にはさらに多くの問題があるでしょう - エージェントガバナンスや潜在的にはAGIサーキットブレーカーのようなもの - これらの技術が成熟し能力が向上するにつれて、ガバナンスがどのように行われるべきかについてより明確になるでしょう。そして、これらの新たなリスクについて話し合い、これらの新しい政策提案について話し合い、また、それらをホストし実施するための制度的能力があることを確実にしたいと思います。
ルイーザ・ロドリゲス: わかりました。それでは、これらが西側と中国が短期的および長期的に念頭に置くべき目標のいくつかです。これらの目標に向けて取り組むためにどのような種類の国際的なガバナンススキームが利用可能ですか。
シハオ・ファン: 2つの部分で答えたいと思います。1つ目はより実践的な、どのような機関が存在するかという点で、2つ目はより理論的なものです。
現在、AIガバナンスのためにはかなり大規模で複雑な重複する国際機関のセットが存在すると思います。一方では、国連やUNESCOのような、はるかに広範な国々を代表し、中国を含む機関があります。また、より制限されたセットの機関もあります - G7、AIに関するグローバル・パートナーシップ、現在のAI安全研究所のネットワーク、英国と米国の協力、または個別の二国間関係などです。
これらのすべてのフォーラムは、グローバルなAIガバナンスとAIの恩恵共有スキームを推進する上で非常に重要になるでしょうが、それぞれに独自の比較優位があります。中国とAI安全性の問題について話し合うことは非常に重要だと思います。また、AIレースに従事しないこと、AI安全性の問題で無謀にならないこと、そして緊急事態が発生した場合に一緒に対処することを確実にするために、彼らと調整することも非常に重要です。
しかし、AI倫理の問題について中国と建設的に話し合うのは本当に難しいです。ここで、G7のようなフォーラムが重要になります。ここでは他のパートナー国と非常に緊密に調整して、AIの展開が社会にとってうまくいくようにします。
ここでの究極的な戦略は、これらの重複するセットの機関がすべての基盤をカバーできるようにすることだと思います。例えば、気候協力や核不拡散の歴史を見ると、すべての問題を一度に解決するために1つのセットのグローバルな巨人が統治するようになったわけではありません。おそらく、国家および地方レベルの分割を持つ、非常に複雑な方法でお互いに競合し協力する、この大きな機関のスープを作ることになるでしょう。
そのため、ここで正しいアプローチを考えるのは - 将来の地政学に関する大きな不確実性の円錐と、AI開発の予測不可能な性質を考えると - 適応的な国際ガバナンスとは何を意味するのかについて非常に慎重に考える必要があるということです。
ここでいくつかの原則があると思います。例えば、競合する権威からの執行力の欠如によって生じる無統治空間のサイズを本当に制限したいということです。意図的に、比較優位を活用する入れ子になった機関のセットを作りたいと思います。例えば、より狭いセットの国々の間で話し合うことで、リスクに対処する際により敏感になり、より強力な規制を推進する際にもより信頼できるようになります。しかし、国連のようなより広範な国々と話し合うことも、包括的であり、グローバル・マジョリティの声を反映し、最終的にAI安全性とAIの恩恵共有のバランスが正しく取れていることを確認するために非常に重要です。そのため、これらの機関の間には、範囲と深さ、または速度と包括性の間の一般的なトレードオフがあり、これらを比較的に活用する必要があります。
また、危機の時に特に協力を促進する、ライバル機関を含む機関間のリンケージを最大化することも望ましいです。この原則は、例えば以前に話した調和された基準に反映されています。調和された基準は、両側が特定の方法で行動することを約束するグローバルな国連制裁条約や何らかの合意を直接持たないが、AIの規制の構造が非常に似ているため、それらをまとめたい場合、活性化エネルギーが非常に低くなる例です。
そして、非常に強力な非公式および非制度的な結びつき - 例えば、情報やハザード共有に関する技術企業間のトラックツー対話 - を構築したいと思います。そして、これらすべてを二国間および多国間の関係のセットで結びつけることで、すべての国が直接協力できなくても、相互依存の十分に結びついたネットワークがあり、1つのドミノが倒れると全てが倒れることを私たち全員が知っており、賭け金が十分に高いので協力しなければならないようにします。
ルイーザ・ロドリゲス: それは、あなたが現在AIに関する米中間のトラックツー対話を運営していることを思い出させます。おそらくそれについて多くは言えないと思いますが、少し聞いてみたいと思います - まず、トラックツー対話とは何ですか。
シハオ・ファン: トラックツー対話は、2カ国間の非政府関係者の間の接続や会議を指す外交用語です。「トラックワン」は公式の政府間交流です。トラック1.5は、現職の政府関係者と退職した関係者、または学界からの関係者が混在する交流です。そして、トラックツーは実際に非常に多様です。学術的な協力に焦点を当てたトラックツーがあり、まだ政府の政策に多くの文脈を持ち、現在の政権への直接のチャネルを持つ退職した政府関係者に焦点を当てたトラックツーもあります。
ルイーザ・ロドリゲス: これらは政府が認可し促進しているのですか。政府の誰かが「特定の問題について、トラックツーの場合は非政府の人々の間で対話を促進し始めたい」と言って、その会議が行われるのを助けるのでしょうか。それともそれよりも草の根的なものですか。
シハオ・ファン: 通常、トラックツーは直接の政府の関与からは来ません。いくつかの例があります。例えば、ブルッキングス研究所は中国とのAIに関するトラックツー対話のセットを長期間 - 4〜5年だと思います - 運営しており、定期的に会合を持ち、軍事AIシステムの定義や、両側がリスクのあるAIの展開について目を合わせるようにすることなどについて、本当に良い進展を遂げています。
また、Safe AI Forumもあり、これは中国、英国、米国のAI開発者や学者を多く集めてAI安全性について共同で話し合うものです。彼らは昨年、AI安全サミットの時期にディッチリー宣言を出しました。例えば、会社の研究予算の3分の1をAI安全性に投資するというコミットメント、または少なくともその意思がありました。
これらは、政策立案者、潜在的にはトラックワンのメカニズム、そしてより広いコミュニティに、市民社会の間でこれらの合意に達する意思があることを示す非常に強力な声明となっており、時には公式な意味で政策の進展を非常に測定可能な形で推進することができます。
ルイーザ・ロドリゲス: とても興味深いです。実際、これらがどのように有用になるのかそのメカニズムをもう少し理解したいと思います。
シハオ・ファン: すべてのトラックツー対話には独自の変化の理論があると思います。AI安全性に関する学術コミュニティを単に集めることを目的とするものがあり、これは本当に重要です。中国では現在、アイデアの浸透性が非常に高く、多くのAI法とその草案が西洋の考え方やホワイトハウスの大統領令から大きな影響を受けていることについて話しました。そのため、ここでの目標は、異なる国々の間でAI安全性に関する重要な認識コミュニティをどのように構築し構成するかということです。そして、現在中国政府内にはAI安全性の問題を厳密に考える能力があまりないため、これらの政策立案者のコミュニティを実際に作ることは、長期的な協力に非常に大きな影響を与える可能性があります。
また、軍事AIや潜在的にはバイオセキュリティのような非常に具体的な政策問題について議論するトラックツー対話もあります。これらの対話に元政府関係者が含まれている場合、潜在的にトラック1.5に移行し、多くの詳細がすでに解決された状態で政府の政策に変換される機会があります。
そして、技術企業や政府の本当に高いレベルの個人、または以前退職した政府関係者を含む対話もあり、これらは長期的な戦略的質問に焦点を当て、両側のリーダーシップが長期的なAIリスク、短期的なAI協力について、そして潜在的にはAGIの展開のような問題についても同じページにいることを確認することができます。これらの対話の目標は、単に同じ人々を部屋に入れ、何が受け入れられ何が受け入れられないか、そしていつ協力が保証されるかについての規範を構築し、最終的に危機が発生したときに誰に電話をかけるべきかを知ることかもしれません。
ルイーザ・ロドリゲス: 興味深いですね。あなたが関与しているトラックツー対話について何か言えることはありますか。その目標は何か、あるいはどのように進んでいるかなど。おそらく、進行状況については言えないでしょうが。
シハオ・ファン: 近い将来、もっと多くのことを言えるようになることを願っています。
ルイーザ・ロドリゲス: わかりました。少し先に進みましょう。西側諸国の当局者は、中国政府がこれらのAI問題にどのようにアプローチしているかについて、一般的な誤解を持っていることはありますか。
シハオ・ファン: 最大の誤解は、彼らが単一のアクターだということです - そして彼らは間違いなくそうではありません。私たちの社会を見るだけでも、AIをどのように規制すべきかについて大きな意見の不一致があります - 私はこれは正当だと思います。なぜなら、将来どのように発展し、異なるグループにどのように不均等な影響を与えるかについて非常に大きな不確実性があるからです。そして中国を見ると、AIの害と利益についての意見の不一致だけでなく、AIのガバナンスと規制を行う多くの競合する政府機関についての意見の不一致もあります。
中国の規制状況を見ると、AIの規制を行う3つの大きな機関があります。1つは、先ほど話したサイバースペース管理局（CAC）です。これはある種のインターネット検閲者および規制者であり、AI規制のためのかなり大きなツールキットを持っています。
科学技術省があります。これは通常、科学研究を行うことを担当しており、AI倫理原則を出し、比較的安全性に前向きです。これは、昨年ブレッチリーの英国に科学技術部副大臣の呉朝暉を派遣した組織です。
そして3つ目は、工業情報化部です。これは広く科学技術省とは対照的で、科学技術省が科学研究を行っているのに対し、彼らは技術普及 - つまり産業政策を行っています。彼らは信頼できるAIを認証するためのツールを開発するCAICTというシンクタンクをホストし、AI評価の基準を出しており、また現在半導体政策を推進する国家集積回路基金も管理しています。
これら3つの組織は、ある意味でAI規制に関して重複する権限を持っており、時には互いに協力しています。CACの規則を見ると、科学技術省、工業情報化部、時には教育部や公安部と共同で署名されています。しかし、現在のところ、これらの機関のどれがAI安全性やAI規制、AI開発のリードを取るのかについては明確ではありません。
ここに加わってきた別の組織は国家発展改革委員会（NDRC）です。これは共産党内で非常に強力な機関で、経済発展と改革政策を担当しています。彼らはAI開発を任されていますが、現在の権限が科学技術省とどのように異なるのかは不明確です。
そのため、中国の現地で多くの人々と話をすると、彼らは皆「私たちがAI規制者です。私たちがAI政策を行うリーダーです」と主張するという現象があります。しかし、中国自体や習近平、あるいは政治局が、これがどこに位置付けられるかについてまだ明確な考えを持っているとは思いません。
ルイーザ・ロドリゲス: ふむ、なるほど。西側の政策立案者がこれをよりよく理解していたら、何か違うことをするでしょうか。それとも、これは西側の人々にも中国政府自体にもまだよく理解されておらず、だから私たちは待って見守るしかないということでしょうか。
シハオ・ファン: ここでの最大の含意は、実際に地上では物事が非常に可塑性があり、これは中国におけるAIガバナンスがどのようになるかを形作る非常に重要な期間だということです。これは国内でも国際的にも言えます。
中国のAIガバナンスを非常に広範に研究しているMatt Sheehanは、これについて良い類推を持っています。彼は、1980年代と1990年代の気候変動に関する中国の文章、または人民日報の文章を見ると、気候変動は西側の先進国が地球の南部の実際の工業化を妨げるための方法だという多くの修辞があったと話しています。彼らは大量の二酸化炭素や排出物を大気中に放出したのに、です。
しかし、過去20年間で彼らは気候変動は冗談だというトーンから、気候変動は非常に現実的な問題だというトーンに大きく変化しました。これにはいくつかの理由があります。1つは、北京が濃い霧に覆われ始め、中国の政治指導部がこれを本当の問題として認識し始めたことです。2つ目は、気候危機に対処することが実際に中国の発展に利益をもたらす可能性があることに気づき始めたことです。つまり、ここには緑のテクノロジーの能力を構築し、エネルギー転換を始める本当の機会があり、これは発展のための重要な機会だということです。そして3つ目は、おそらく習近平がこれが本当のことだと自分自身を納得させ始めたことです。
そして今AIについて考えると、中国の指導部は将来AIがどのようになるか、中国にとって戦略的にどれほど重要なのか、そして安全なAIシステムの開発が中国にとってどれほど重要なのかについて明確な立場を持っていないと思います。AIシステムの潜在的な害について誠実にコミュニケーションを取り、何が問題となっているかを伝えることは、長期的に私たちにとって非常に有益だと思います。
ルイーザ・ロドリゲス: わかりました。次に進む前の最後の質問です。AIにおける中国と西側の最近の協力の兆候についてどう思いますか。例えば、英国、米国、EU、中国がAIの破滅的な危険性に関する宣言に署名したことなどです。
シハオ・ファン: これは非常に有益だと思います。そして、中国の科学技術副大臣をジナ・レイモンド[米国商務長官]と一緒にステージに上げ、人類にとってのAIリスクについて一緒に話をさせることの難しさを決して過小評価すべきではありません。これは、長期的な対話、コミュニケーション、そしてAIシステムに関する調和の取れた規制を確立するための非常に重要な進展だと思います。
しかし、また、現在私たちはAIの問題に関してある種の蜜月期間にいるとも言えると思います。現在、AIシステムが潜在的に有害である可能性について多くの話がありますが、これらが核心的な利益にどのように結びついているかは、異なる国々によってまだよく内在化されていません。そのため、気候や安全保障のような他の問題での対話が停滞している場合に、中国、英国、米国が一緒に対話を持つ新しく刺激的な方法となっています。私たちは絶対にこの蜜月期間を活用して、できる限りのことをする必要があります。そしてそれは、さらに重要な政策の窓を作ります。
しかし、長期的には、ここでの本当の問題は、どのように継続的なモメンタムを構築し、真の関与の欲求を持ち、また、AIの対話をそれ自体のために使うことを防ぎ、それによってそれを空洞化させないようにするかということです。そのため、現在は特に重要です。よく定義された課題に関する実質的で精密な議論に飛び込むことで、難しい政治的違いを解決し、具体的で実行可能なアイデアを生み出すことができる場所を見つけることによって、このモメンタムを継続することです。なぜなら、このモメンタムを継続することで、この対話を続け、信頼を構築し、お互いに協力し続けることができるからです - 特に、より重大な害が生じる可能性があり、より大きな政治的資本と調整を必要とする重要な政策アイデアが実際に実現可能になるときに、これらのつながりを維持することができます。
ルイーザ・ロドリゲス: わかりました、本当に興味深いです。続けて、あなたが興味を持っているものの1つは複雑性思考だということを知っています。これは、部分間の関係がシステムの集団的な行動をどのように生み出すか、そしてそのシステムが環境とどのように相互作用し関係を形成するかを見るものです。私の理解では、人々はこれが非線形のダイナミクスや創発的特性、予測不可能な結果につながる相互接続され相互依存する要素を持つシステムを見たり理解したりする重要な方法だと考えています。複雑性思考は、中国の半導体産業政策についての考え方にどのように影響を与えるべきでしょうか。
シハオ・ファン: 中国の半導体産業政策について、遠くから見ると多くの人が気づかない側面の1つは、実際には北京から出てくる1つの政策セットだけではないということです。それは、省、地方、市、国のレベルでの政策とインセンティブ、そして非公式および公式の制度の非常に複雑な組み合わせです。
例えば、上海政府は独自の上海半導体ファンドを持っています。広東政府も独自の半導体ファンドを持っています。そして、異なる地方政府の政策を読むと、実際にかなり差別化されていることがわかります。例えば、武漢にはメモリメーカー向けの半導体製造装置のような特定のことについて言及している政府政策があります。上海は先端ノードの独立したサプライチェーンをどのように作るかについて話しています。広州と深センは、多くのチップ設計会社がその地域に拠点を置いているため、CPUを構築するための先進パッケージングとチップレット技術について話しています。
そのため、異なるアクターが互いに競争し、互いから学び、エコシステムの中で独自のローカルなニッチを構築しようとしている非常に複雑な状況が見えてきます。
私が本当に好きな枠組みがあります。政治学者のユエン・ユエン・アンが書いた『中国はいかにして貧困の罠から脱出したか』という本からのものです。彼女は中国の経済発展のプロセスを、単なる静的なイメージとしてだけでなく描いています。多くの人が説明しようとする権威主義的資本主義として - 中国国家が降りてきて労働者の権利を奪い、自由化とともにこの資本主義システムを実施し、それが中国産業の離陸を可能にしたというような。彼女はより微妙な状況を概説しました。1980年代の中国の改革開放で起こったのは、中国政府が地方政府に自分たちの環境に適応し、そこから学ぶためのインセンティブ構造を作ることに成功したということです。
ここで興味深い機械学習の類推を引き出すことができると思います。特定のシステムは設計できません。それらは進化しなければなりません。例えば、if-then文のセットを使って、猫や犬を認識するAIシステムをコーディングする方法を想像してみてください。それは非常に困難です。しかし、何らかの構造と損失関数を指定し、データで訓練し、データに従って猫と犬がどのように異なるかを学習させる機械学習システムを作ることは確実にできます。たとえ明示的に書き出すことができなくても。
政策立案にも同様の側面があると思います。頂点にいる1人の独裁者が、すべての異なるローカルな条件を理解し、この大きなif-then文のセットのように完璧な政策を書くことは非常に難しいです。政策立案者が考えるべきは、「損失関数」として正しい進化プロセスのセットを動かすインセンティブ構造をどのように作るかということです。それは経済効率を改善し、スタック全体でのシナジーを改善します。
中国の経済発展のプロセスを考えると、それは本当に、競争、適応、ニッチの創造、大規模な政策開発の力をどのように操縦して、異なる地域が協力し、比較優位を活用できるようにするかということです。中国の半導体政策を考える正しい方法は、北京が出した1つの静的な文書のセットとしてではありません。それは実際に、多くの細かいローカルな実装につながる一連の国家的な指令です。
そして、中国が国家ICファンドを繰り返し行う継続的な政策学習のプロセスがあります。先ほど話したように、3つの段階があり、途中で汚職キャンペーンがありました。中国は投資したいものについて大きく方向を変え、また異なる地域がどのように相互作用すべきか、どの程度の調整が必要かについても方向を変えました。
この視点は、実際に中国の指導部が過去に概説したことがあると思います。改革開放期の中国の指導者である鄧小平は、中国の開発プロセスを「石を感じながら川を渡る」と呼びました。
これをより複雑なシステムや機械学習の言語に翻訳すると、ここでのポイントは緊密なフィードバックループを持つことです。川に冒険する際に掴むことができる石が欲しいのです。そして、半導体開発やAI開発のプロセスは非常に複雑であるため - 単一の技術を構築することだけでなく、中国の産業スタック全体を先進国のものにアップグレードすることが本当に必要です - 私たちはこれを経済開発のレンズで見るべきです。
政策立案者が底や周りの人々からシグナルを受け取り、軌道を修正し、軌道を修正する政治的能力を持つための適切で機能的なフィードバックループはありますか。そして、これらの要素が存在すれば、中国が産業政策でいくつかの間違いを犯したとしても、プロセスを改善し、より効率的にする可能性があります。なぜなら、最初から完璧な政策はないと思うからです。
ルイーザ・ロドリゲス: それは本当に興味深かったです。あと1つだけ質問があります。あなたのウェブサイトによると、余暇には料理、写真撮影、哲学の読書、そして無害な細菌のペットを飼うことを楽しんでいるそうですね。細菌のペットの魅力は何ですか。
シハオ・ファン: 生物学的コンピューティングに非常に興味を持っていた時期がありました。心の底では、AIが人類にもたらす可能性のある潜在性、そしてそれが経済発展と進歩の大きな期間をもたらし、貧困を減らし人間の生活を改善する上でもたらす利益に常に非常に興味を持っていました。
大学時代に細菌のペットを飼っていたのは、生物学的ニューラルネットワークを構築したいと思っていたからです。実際にAIとコンピューティングを進歩させることに本当に興味を持っていました。これらのシステムの展開と開発についてより慎重に考える必要があることに気づき始めるまでは。そして、最大の影響を与えることができるのは、必ずしもAI開発を加速することではなく、開発が上手くいくこと - 差別的な意味で有益に - を確実にすることだということです。
ルイーザ・ロドリゲス: なるほど。
シハオ・ファン: そして、細菌のペットに関するもう1つのことは、私は心からエンジニアだと感じていて、研究しているものを触ったり構築したりすることが大好きだということです。当時は合成生物学とそれがコンピューティングにもたらす可能性について本当に興味を持っていました。そこで、自分の部屋で遺伝子編集を始め、細菌のペットを育てようとしました。最終的には、光る細菌で満たされたクリスマスオーナメントを作りました。
ルイーザ・ロドリゲス: えー、すごい!
シハオ・ファン: ブラックライトの下で輝くんです。
ルイーザ・ロドリゲス: わお。
シハオ・ファン: 今でもそういった習慣の多くを続けています。チップ政策や半導体政策について多く考えて仕事をしています。そして実際、eBayで買った金属顕微鏡のすぐ隣に座っています。自分でチップをリバースエンジニアリングします。必ずしも仕事のためではありませんが、自分の手で何かを持ち、スタック全体を理解できると、政策について考えるのがずっと簡単に感じます。
ルイーザ・ロドリゲス: それは本当にクールですね。今日のゲストはシハオ・ファンでした。ポッドキャストに来ていただき、ありがとうございました。
シハオ・ファン: ありがとうございました。
ルイーザ・ロドリゲス: The 80,000 Hours Podcastは、Keiran Harrisによって制作・編集されています。音声エンジニアリングはBen Cordell、Milo McGuire、Simon Monsour、Dominic Armstrongが担当しています。完全な書き起こしと詳細なリンク集は、いつものようにKaty Mooreによって作成され、私たちのサイトで利用可能です。ご視聴ありがとうございました。また近いうちにお話しします。