ギャビン・ニューサム、カリフォルニア州のAI安全法案を拒否 ― AIの安全性にはもっと科学的厳密さが必要や！

7,746 文字

おはようさんどす。今日もAIニュースで忙しい一日になりそうやね。まず最初に、ちょっと違うアプローチを試してみたいんですわ。最近は一つのトピックを深掘りする感じやったんやけど、今日は複数のことを話してみようと思うんです。新しい形式に慣れるまで、しばらくお付き合いください。
まず最初に、ギャビン・ニューサムがカリフォルニア州のAI規制法案である上院法案1047を拒否したことについて簡単に触れます。彼は具体的な理由を挙げてはるんやけど、わたしはそれらの理由に賛成かどうかとか、他の人がどう言うてはるかについてはコメントせえへんし、他のことも言わんとこ思います。ただ、彼が挙げた理由を紹介して、ちょっと考えてみたいと思います。
それから、その話はわたしが現在進めてるAI安全性の研究の話につながってくるんです。ご存知ない方もおるかもしれませんが、わたしはクレムソン大学の客員研究員なんです。講師とか教員ではないんやけど、クレムソン大学のHAE（Human AI Empowerment Lab）と共同研究をしてます。そのことについて簡単に近況を報告させてもらいます。
最後に、AIが人間の認知の限界を完全に超えることができるかどうかという問題について話します。つまり、人工知能が人間には理解できないような思考をすることが可能かどうかという質問に答えたいと思います。
せやったら、始めましょか。まず、ギャビン・ニューサムが上院法案1047を拒否したことについてです。主に5つのポイントがあります。
1つ目は、偽りの安心感を与えるということです。この法案は、急速に進化するこの技術をコントロールできるという偽りの安心感を国民に与える可能性があるって言うてはりました。上院法案1047が望んでいることを達成するには不十分やと確信したんやそうです。
2つ目は、これがほんまに面白いんやけど、ニュアンスの欠如です。この法案は、AIシステムがハイリスクな環境で使われてるかどうか、重要な意思決定に関わってるかどうか、機密データを使用してるかどうかを考慮してへんって言うてはりました。この、AIの規制に対するかなり強引なアプローチは、実はAI安全性コミュニティーでよく見られるんです。これについてはあとで話しますけど、ほんまに興味深い展開やと思います。
3つ目は、適用範囲が広すぎるということです。この法案は、大規模なシステムが使用する限り、最も基本的な機能にも厳しい基準を適用するって言うてはります。ちょっと背景を説明すると、小規模モデルには例外があったんやけど、問題は、この法案が大規模モデルを対象にしていて、規模がどんどん大きくなるモデルを狙ってたってことです。
GoogleやMicrosoftみたいな大手企業だけを妨げるという前提やったんやけど、多くの人が指摘してるのは、小規模モデルも同じくらい危険で、場合によってはもっと危険なこともあるってことなんです。小規模モデルはオープンソースで共有できるし、ウイルスを作ったり誤情報を広めたりするために特別に作られることもあるからです。
モデルの規模は必ずしもその危険性と相関しないんです。実際、大規模モデルの方が危険性は低いという十分な根拠もあります。ほとんどの人は1億ドルのデータセンターを持ってへんからね。
4つ目は、不適切なアプローチやということです。ニューサムの言葉を借りると、「この技術がもたらす現実の脅威から国民を守るには、これが最善のアプローチやとは思えへん」ということです。これ以上の説明はなかったんやけど、まあ、彼なりの意見やと思います。
最後に、そして一番重要やと思うんやけど、AI規制は実証的な証拠と科学に基づく必要があるって言うてはりました。
この5つのポイントをまとめると、1. 偽りの安心感、2. ニュアンスの欠如、3. 適用範囲が広すぎる、4. 不適切なアプローチ、5. 実証的証拠の必要性、となります。
規制の細かい部分や特定の内容に賛成するかどうかは別として、AI安全性の分野で働いてる友人の多くはこの法案を支持してました。ただ、ここからAI安全性についての議論に移りたいと思います。
わたしはこのことについてめちゃくちゃ辛辣なサブスタックの投稿を書いてたんです。タイトルを言うたら大体の方向性がわかると思います。「募集：AI安全性研究者、経験不問」です。この投稿はこのポッドキャストに取って代わられたんで、ギャビン・ニューサムに話のネタをもらったことに感謝せなあかんね。
長い話を短くすると、わたしが思うに、AI安全性の分野にいる多くの人たちは、本来そこにおるべきやないんです。みなさんはわたしをYouTuberやポッドキャスター、ブロガーとして知ってはるかもしれませんが、わたしの技術者としてのキャリアは2007年に始まったんです。インフラの自動化とエンジニアリングの分野で働いてました。
こう言うたらわかりやすいかな。もしスカイネットがあなたのデータセンターを攻撃したら、わたしに電話するはずです。それがわたしの専門分野やったんです。ベストプラクティス、大規模展開、システムの堅牢化、高度な稼働時間の維持、そして技術のあらゆる層での作業。データ、サーバー、サイバーセキュリティ、アプリケーション、全てに関わってました。わたしはインフラストラクチャの自動化、つまりインフラと自動化の専門家やったんです。組織のあらゆる部分に関わってました。メールから下のレベルまでね。
そして、2020年から、つまりここ4年間は人工知能の分野に特化してきました。GPT-2から始まって、GPT-3、そして今はGPT-4とAIの調整をしてきました。もちろん、環境は変化して、OpenAIだけが主要プレイヤーではなくなりました。
これがわたしが書こうとしてた内容で、きっかけになったのは、自称AI安全性研究者のグループとの出会いでした。詳しくは言いませんが、わたしの見立てでは、このグループの誰一人としてAI研究者として、ましてやAI安全性研究者として適格ではありませんでした。彼らの具体的な資格については触れませんが、こう言うたらわかるでしょうか。わたしの経験にも及ばへんのです。わたしには博士号もありませんけどね。
ちなみに、わたしたちが話をしてた人たちの多くも博士号を持ってへんかったんで、そこは同じ船に乗ってるんですけど。でも、わたしには16年以上のテクノロジー業界での経験と、直近4年間の人工知能の経験があります。わたしの方がちょっとは資格があるんちゃうかな。
自分で自分を褒めてるみたいですんまへん。ちょっと、これらの自称AI安全性研究者の一人からの返事を読んでみましょう。これはいわゆる「AI安全性コミュニティ」の内部の人間からの言葉です。
「実は、デイビッドのAI安全性コミュニティに対する懸念に共感してるんです。リスクモデルが世界の経験的な動きと一致することを確認することへの重視が足りないってことですね。経験的に健全な前提を持ち、曖昧な推論の飛躍を慎重に避けることは重要です。AI安全性に対する最大の批判は、世界の動きの関連する側面をすっ飛ばしてしまうようなおもちゃのモデルのような議論に傾く傾向があることでしょう。内部的な一貫性と高い説明力を持つ前提を、世界の経験的な動きとの包括的な一致を確保することよりも重視しがちです。例えば、AI安全性研究の大部分は、複雑系科学やアルゴリズム的複雑性が現実世界で適用可能であることを無視しています」
長い話になりましたが、要するに、AI安全性コミュニティは経験主義と科学の必要性を痛感し始めてるってことです。これは当たり前のことやったはずなんですが、これはわたしがサブスタックのブログ投稿で話してきたことなんです。
もしこれを聞いてるだけやったら、長い投稿は読んでへんかもしれませんが、AI安全性コミュニティの多くの人々が基本的に手を挙げて「わたしもAI安全性研究者です」と言うてるだけやということについて、いくつかの投稿を書いてきました。
その投稿のタイトルは「AI安全性の詐欺師とペテン師たち」でした。基本的に、AI安全性に関する事業、資格、信用、関連する経験やスキルを持たない人々が立ち上がって「わたしはAI研究者です」と言うてるんです。今日、AI安全性研究者になるのに必要なのは、インターネット接続と意見だけみたいです。
これは大きな問題で、ギャビンの上院法案1047への批判を見ると、偽りの安心感、ニュアンスの欠如、AIがハイリスクな環境で使用されてるかどうか、重要な決定を下すかどうかを考慮してへんこと、最も基本的な機能にも厳しい基準を適用しながら、小規模モデルには例外を設けていること（これは実際、大きな盲点になると思います）、これが最善のアプローチやと思えへんこと、そして最後に、AI規制とリスクは実証的な証拠と科学によって評価される必要があるということを結論づけてはります。
わたしが「AI安全性研究者」って言うてる人たちに対する主な批判の一つ、つまり科学的厳密さの欠如に、AI安全性コミュニティが気づき始めてるってことを、この一撃で示してるんです。
これまでAI安全性コミュニティがやってきたのは、根拠のない仮説に賭けることでした。根拠のない仮説って何かというと、例えばニック・ボストロムみたいな人の言うことです。ちなみに、彼は哲学者で、技術者でも、プログラマーでも、倫理学者でもありません。
彼は何年も前に、実験もせず、ピアレビューを受けた論文も発表せず、本当の意味での仮説すら提案せずに、いくつかの仮説を立てました。彼が話してた仮説の中には、道具的収束やその他のものがあります。
AI安全性コミュニティは、ニック・ボストロムやエラザー・ユドコウスキーみたいな人たちの言葉を絶対的なものとして受け取ってます。さらに悪いことに、彼らにとっては、LessWrongやニック・ボストロムから来た認識論的根拠が、ピアレビューを受けて再現可能な研究と同じくらい有効やと考えてるんです。これは問題です。
この話題についてはもう言うことはあんまりありませんが、わたしがこのブログ投稿でどう表現したかを言うと、「AI安全性コミュニティは自分たちで退治する竜を想像し、ルールを作り出し、それを正当な科学のふりをしてる。これは止めなあかん」ということです。
わたしがこの2つのことをつなげてる理由は、AI安全性コミュニティの正当なメンバーとして、多くのペテン師がわたしも「AI安全性コミュニティの一員や」と言うて、擬似科学を押し付けてるのを直接見てるからです。
もうはっきり言いますが、これらは詐欺師で、ペテン師で、擬似科学を押し付けてるんです。彼らは科学的リテラシーがなくて、自分たちの物語を作り出してるんです。
実際、OpenAIのグノーム・ブラウンが投稿したものがあって、OpenAIが「まだ科学をしてる、まだ研究をしてる」って言うてることに対して、ますます批判が高まってるんです。同時に、グノーム・ブラウンは「これの多くは文字通り」って言うてます。彼のツイートを読んでみましょう。
これは、ヤン・ルクーンからの批判に対するもので、ヤンは「実際に科学をしてへん、ブログ記事を書いてるだけや」って言うてました。ちなみに、わたしもブログ記事は書けるし、自分の研究をドキュメント化して「舞台裏の人間に注目せんといて」って言うこともできます。もしOpenAIのブログ記事が正当な科学やったら、わたしのも正当な科学ってことになりますよね。
これは、何が実際に科学として認められるのか、何が正当なものとして認められるのかについての議論です。まあ、これは別の話かもしれませんが。
とにかく、ヤンは「ブログ記事は再現性、方法論、先行研究の認識、最先端技術との公平な比較という基準を満たしてへん」って言うてました。この点については、ヤンに同意します。いつもヤンに賛成するわけやないんですが、今回のOpenAIへの批判には同意します。
グノームはこう返事しました。「逆やと思います。発表された研究の多くは率直に言ってクソです。著者は3人の査読者とACを騙すだけでいいんです。何百万人もの人が使うものをリリースするときは、上司と製品担当者を騙すだけではダメです。人々が自分で判断するでしょう」
グノームは基本的に、何百万人もの人がわたしたちのモデルを使ってるという事実が、「本物の科学」と「本物の研究」をしてるって言うのに十分やって言うてるんです。
内部的には、OpenAIは本当に本物の科学と本物の研究をしてるかもしれません。でも、何も公表してへんのです。わたしはこれを再投稿して、基本的にこう言いました。「実際の論文、実際の学会、実際のデータと実際のモデルを再び公開し始めて、わたしたちみんながあなたたちの仕事を精査できるようになったら教えてください」もちろん、返事はありませんでした。
わたしたちには、一方でOpenAIが反科学的で、他方でAI安全性コミュニティも反科学的やという状況があります。その間で、わたしのような人々やギャビン・ニューサムが「実際、科学は重要です。実証的証拠は重要です」って言うてるんです。
これが今日のわたしの持論です。最後の部分に移りましょう。認知的地平線について話しましょう。
よくある、またもや反科学的な、ただの雰囲気で判断するようなことの一つに、「AGI（汎用人工知能）が考えてることを理解できると想像してるんやな」「あなたのIQを100万倍も超えるようなものを理解できると思ってるんやな」「あなたには想像もできへんようなことを考えられると思ってるんやな」っていうのがあります。
実際、そう、AGIは常に理解可能やと考える良い理由があります。たとえわたしたちより速くても。「理解可能」って言うとき、平均IQ100の人（90から110の範囲）に理解できるって意味やないです。
知能の研究の中に、認知的プラトー（高原）という概念があります。認知的プラトーの定義というか説明を見てみましょう。
認知的プラトーっていうのは、ある一定のポイントを超えると、IQが上がっても認知能力や現実世界での成果に比例した利益がもたらされへんかもしれないっていう考え方です。これはいくつかの研究結果と一致しています。
要するに、次のようなポイントがあります。
まず、収穫逓減です。研究によると、IQと学業成績、キャリアの成功、収入などの様々な成功指標との関係は、IQが高くなるにつれて収穫逓減を示します。つまり、頭が良くなったからって、実際の世界でより効果的になるわけやないってことです。これは重要です。なぜなら、現実の世界が経験的な世界やからです。実際の結果が重要なんです。
次に、閾値効果があります。研究によると、ほとんどの分野で成功するには、120から130くらいのIQがあれば十分やってことです。ほとんどの理論物理学者のIQは130くらいです。正確には128くらいやったかな。
つまり、理論物理学者、相対性理論を理解したり、重力波の実験をしたりする人たちは、160や200のIQは必要ないんです。そやね、時々180のIQを持つ天才的な数学者や物理学者がおるかもしれません。でも、その能力が必ずしも現実世界での効果的な影響に結びつくわけやありません。わたしたちは現実の世界に生きてるんです。
AGIがわたしたちより速くても、必ずしもわたしたちにない認知能力を持つわけやありません。これが認知的プラトー、つまり閾値効果です。
もう一つの見方として、認知的地平線があります。認知的地平線というのは、あなたの脳が把握できることの総体です。つまり、あなたが理解できること、あなたが構築できる精神的表現、そしてあなたが操作できる精神的表現です。そして、それが実際の世界に適用できるものです。
これは、わたしの研究が触れてきたことの一つです。まだ詳しくは書いてへんけど、アイデアとしては、わたしたちは皆、現実の世界に制約されてるってことです。あなたの想像の中で何が起こってても、AGIの想像の中で何が起こってても、それが現実の物理的な世界に測定可能な影響を与えへん限り、何の意味もありません。
自慢するわけやないですが、わたしのIQは測定されていて、その認知的閾値を超えてます。だから、わたしが心を決めたことは、大体どんなことでも理解して学べます。でも、ある一定のポイントを超えると、実際に世界や経済や地球や他の人々に対して、経験的で客観的で測定可能な影響を与えへん限り、それは重要やないんです。
「でも、非常に才能のある人は大きな害を与えることもできるっていう証拠もあるやん」って言うかもしれません。それには同意します。歴史上最も破壊的な人々の中には、非常に高いIQを持つ人もいました。でも、それは別の話です。
ここで言いたいのは、AGIが「人間には考えられへんような思考をする」という考えに異議を唱えたいってことです。わたしはこれを、収穫逓減または知能の最適点と呼んでます。つまり、頭の中で巨大な抽象概念を持てるからって、それが有用やとは限らへんってことです。
知能が高くなることによる収穫逓減は、今でも確実に存在します。AGIはわたしたちより速く動けるかもしれません。でも、時間のような物理的な制約はまだあります。物事をするには時間がかかります。チップを作るのにも時間がかかるし、データセンターを建てるのにも時間がかかるし、データを移動させるのにも時間がかかります。
他にも、エントロピーや生物圏など、あなたが達成したいことを遅らせるような制約がたくさんあります。結局のところ、あなたの脳がトレッドミルの上で時速100万マイルで動いてても、現実世界で起こる各時間ステップがずっと遅ければ、その追加の思考時間は無駄なエネルギーになるだけです。
今日はここで締めくくりたいと思います。AIがいつか「人間には理解できへんような思考」を持つという考えに反論したいんです。これは魔法のような考え方で、AIがいつか人間には理解できへんような思考を持つという仮定なんです。
わたしは、初めてSovereignに出会ったときのMass Effectのシーンを思い出します。「お前らは低級な種族や。わたしたちが考えてることは理解できへんやろ」みたいなセリフがあったやん。西洋人が自分たちには理解できへん思考を想像するのは簡単です。なぜなら、それはユダヤ教とキリスト教の伝統やからです。
これは神智学と呼ばれるもので、神の心を理解しようとすることです。でも、「ほら、わたしたちには理解できへん存在を想像する長い伝統があるやん」って感じです。でも、現実世界に理解できへん存在がいるという証拠は実際にはありません。
だから、AGIは理解できへんものやありません。証拠が示すまでは、神のような能力を与えるのはやめましょう。