AIの進歩を遅らせるべきなのか?

20,487 文字

多くの皆さんと同じように、人工知能の高度化と急速な発展について懸念しとるんです。幻覚を見たりファンシーな自動補完機能を持つことについてというよりも、人類が自分たちよりも賢い技術を作り出すことの長期的な影響についてです。
もしかしたら、そんなもん作れへんかもしれません。でも、もし作ってしまったら、良くない結果や副作用が生まれる可能性があるんです。自分が開発してる技術にどんなデメリットがあるか考えるのは、めっちゃ大事なことやと思います。
今日のゲストは、ルイビル大学のサイバーセキュリティ部門のディレクターであるローマン・ヤムポルスキー博士です。彼はAI開発の一時停止を求める運動の署名者の一人でもあります。次世代の大規模言語モデルのトレーニングを減速または停止し、この技術をどう扱うべきかをより深く理解するために安全性の研究に力を入れるべきやと考えてる人たちの一人なんです。
いつも聞いてくれてるリスナーの皆さんには警告しときます。今回の会話は、主に人工知能と安全性についてのものです。宇宙やフェルミのパラドックスみたいな話題はあんまり出てきません。ちょっとだけ触れるぐらいです。主に安全性の話をします。
エピソードの終わりの方でシミュレーション仮説について話すので、そういうのに興味ある人は聞いてみてください。でも、いつものリスナーで宇宙の話だけ聞きたい人は、今回のインタビューは飛ばしてもええかもしれません。
でも、人工知能に少しでも興味があって、僕の考えやヤムポルスキー博士の意見を聞いてみたい人には、このインタビューをおすすめします。きっと得るものがあると思います。
それじゃあ、インタビューをお楽しみください。
ローマン、あんたは長い間、人工知能の台頭について考えてきました。本も論文も書いてきました。大規模言語モデルやトランスフォーマーアーキテクチャが実際に登場したときは、やっぱりびっくりしたんですか?
せやな。我々は、ゆっくりと20年かけて改善していくと予想してたんや。こんなパラダイムシフトは想定外やった。だから、やるべきことに集中せず、分野のトップの人らがハリー・ポッターのフィクション書いたりしてたんや。10年先を行く準備ができてなかったんよ。
AIの安全性に関する運動に携わる人らが、20年前から大きな懸念に取り組み始めてたのは知ってます。僕も様々なフォーラムで潜在的な脅威について話してきました。でも、全部理論的な話やったんです。
ユニコーンが現れたら角の問題に対処せなあかんかもしれん、みたいな感じやったんです。でも突然、現実になってしもた。
確かに、現在の人工知能の状態は笑えるもんです。怖がるようなもんやないです。でも、何かが変わりつつあるって感じはします。今、あのハリー・ポッターのファンフィクションを書いてた人らは、安全性の問題に取り組み始めてるんでしょうか?
あ、それ内輪ネタやから使わんといてな。でも、AIの現状が笑えるもんやとは思えへんな。ほとんどの分野で、もう平均的な人間より賢くなってるんや。昨日リリースされたモデルは、普通のコンピューターサイエンスのプログラマーや数学者、科学の博士課程の学生よりも優秀やねん。笑い事やないで。
安全性に関しては、モデルが既に人間の価値観に沿わないふりをして、意図的に騙そうとしたり、環境から抜け出そうとしてるのが分かってる。もうかなり深刻な状況やと思うで。
まあ、「笑える」は適切な言葉やなかったかもしれんな。でも、昨日リリースされた新しい「思考モデル」みたいなんをオープンAIが提供してても、すぐに限界に達するんです。テキストが冗長になったり、「delve」って単語をよく使ったりするんです。
でも、あんたが言うように、昨日僕が生活を整理するための小さなアプリを作ってくれって頼んだら、「問題ない、はいどうぞ」って感じで、まさに欲しかったものを出してくれたんです。それは魔法みたいに感じるんです。
この二面性が、人々にあるべき以上に心配させてないんちゃうかな。一方では、あんたが言うように、PhD学生を上回るテストの成績を出すような魔法みたいなもんやと感じる。でも他方では、「strawberry」の「r」の数を数えるのをようやく覚えたばっかりやし。
あんたはずっとこのことを心配してきたけど、同業者の多くが今、真剣に受け止め始めてると思う?
確かに、以前より多くの人が注目すべきものやと考えるようになってきてます。機械学習の研究者にアンケートを取ると、大きな割合の人が非常に深刻で、将来はもっと深刻になると考えてます。
でも、まだ「高度な統計」やと呼んで、危険性を一切否定する人もおるんや。それも普通やと思う。多くの人がバブルの中で生きてて、世界最高の頭脳を持つ人らと仕事してるから、システムがアインシタインレベルになってからようやく重要やと考えるんや。
普通の人間がどんなもんかを忘れてしまってる。プログラムを書いたり詩を作ったりするのが、多くの人にとってはそもそもできへんことやってことを。
そうやな。僕の聴衆は天文学や宇宙のトピックに詳しいから、多くの準備は必要ないと思うんやけど、多くの人が人工知能や安全性の専門家が懸念してることに初めて出会ったとき、いくつかの本能的な反応があると思うんです。専門家でさえ、そういう議論をすることがある。
それらを論破したいんやけど、まず一つ目は、この技術を比較的簡単に調整できるっていう考えです。AIに望むことをさせるようにすれば、すべてうまくいくって人がおるんやけど、どう思う?
「アラインメント」っていう概念が、意味のある定義もないのに、こんなに確立されてるのが驚きやわ。誰とアラインメントするんかも分かってへん。プログラマーか? オーナーか? 全てのアメリカ人か? 80億の人間か? 人間とリスを合わせたもんか?
アラインメントの対象が誰なのかも分からへんし、80億人全員の合意を得る方法も分からへん。政治的にも社会的にも宗教的にも意見が一致せえへんやろ。分断がめっちゃあるんや。
合意できる価値観があったとしても、それは静的やなくて動的なもんやし。何かに合意して、それが静的やったとしても、プログラムに組み込む方法が分からへん。そのソリューションには確実に多くの問題があるんや。
僕がよく考える例えがあるんやけど、もし80億人に地球を破壊するボタンを渡したら、ボタンが押されるまでにどれくらいかかると思う? もう押されてるな、遅すぎるわ。
そうそう、僕がボタンを配り始めたときには、もう押されてたんや。これは、ある意味、人工超知能の力を程度の差はあれ全ての人間に与えるのと同じようなもんやと思うんや。
彼らは自分の目的、自分のアラインメントのためにそれを使うやろう。そのアラインメントは重なったり、衝突したり、お互いを上書きしたりするんや。
つまり、根本的に、アラインメントってそもそも解決可能な問題やと思う?
アラインメントが何を達成しようとしてるのかを定義する意味でさえ、意味がないと思うんや。さっき言ったように、アラインメントの対象となる具体的な価値観のセットがないし、それらの価値観がどこから来るのかもわからへん。どの主体が重要なのかを決めてないからな。
今のところ、モデルは企業とアラインメントしてる。僕がモデルに何かしてって頼んでも、半分くらいは「やりたくない」って言われるんや。だから、少なくとも僕とはアラインメントしてないのは確かや。
実際の科学的な解決策には見えへんのや。聞こえはいいかもしれん。「我々の望むことをする」とか言うけど、用語を定義せんと、「いいことをする」とか「物事を良くする」とか言うだけで、それらは何も定義されてへん。CやC++やその他の言語でプログラムできるようなもんやないんや。
最近、ドゥーム・ディベートで議論があったよな。AIについての大きな議論の一つは、アラインメントによって世界をより良くできるっていう考えや。AI天国に近づけて、AI地獄を避けようっていう話や。
でも、多くの人はすごく漠然とした言い方をするんや。「物事を良くしたい」とか「もっとお金を稼ぎたい」とか「もっと健康になりたい」とか「もっといい人間関係を持ちたい」とか。でも、それすらすごく曖昧なんや。
だから、哲学者を呼んできて、ジーニーや猿の手から3つの願いをかなえてもらうみたいに、みんなで座って徹底的に議論したとしても、人々が大まかに合意できるようなフレームワークはあると思う? 「これがAI天国や」って言えるようなもんが?
そういうのがあったとしても、多くの場合、魔法のような力を持つと人生から意味がなくなってしまうんや。欲しいものが何でも、すぐに手に入るんやで。努力せんでも、頑張らんでも手に入るんや。じゃあ、何が面白いんや?
あんたはもう必要ない。システムがあんた抜きでできるんや。この環境に、この方程式に、あんたは何を貢献できるんや? 超知能に対して何を貢献できるんや?
うーん、僕にはそれはあんまり説得力がないな。僕らは常に目的を見つけると思うし、自分たちが望むものを作り出せると思うんや。スター・トレックのホロデッキを見てみ。楽しんでるやろ?
人々は僕に「なんで人間を他の惑星に送るんや?」って聞くけど、僕は「じゃあ、ヨーロッパ旅行に携帯電話だけ送って写真撮らせるのはどうや?」って返すんや。携帯を家に送り返せば、たくさんの写真が手に入る。ロボットに旅をさせればいいやん。
誰が知ってるんや、どんな目的を見つけるかなんて。でも、まず全員が死なないようにすることのほうが大事やと思うんや。全てが簡単にできる世界で意味があるかどうかよりもな。それでもええと思うんやけど。
特定の問題を解決したいんや。例えば、老化は多分一番の問題やな。でも、狭いツールを使って解決できると思うんや。タンパク質折りたたみ問題は狭いツールで解決したやろ?
人間のゲノムを完全に理解して、「ここのループを100年じゃなくて無限ループにしよう。でも、がんは駄目やで」って感じで老化を解決できると思うんや。
これを達成するのに、汎用の超知能を作る必要はないんや。危険やし、制御の仕方も分からへん。人生のあらゆる側面にどう影響するか分からへんし、人類にとって不要になる可能性があるんや。ツールの代わりやなくて、人類の代替品になってしまうかもしれへん。一方で、狭いシステムはツールとして使えるんや。目標を達成するのに使えるんや。長生きしたい? もっと健康になりたい? それができるんや。
でも、本当にそうなんかな? 人類が直面してる課題の中には、狭いツールを使うだけで目標に到達するのに十分なものもあるやろう。タンパク質の折りたたみとかな。でも、他のものは、もっと一般化された人工超知能みたいなレベルの技術が必要最小限なんちゃうかな。
どれがどっちに当てはまるかは、事前には分からへんのや。ハンマーを使うだけでよかったのか、核兵器が必要やったのかは、後になってみないと分からへん。あんたの考えやと、全部か無しかって感じやけど、できれば無しがええんちゃうか?
僕は、有益なツールから得られる利益の大半、99%くらいは汎用超知能からやなくて獲得できると思うんや。人間の能力をはるかに超えるもので、汎用超知能が必要なものもあるやろうけどな。
もし100年後に、みんな永遠に生きられるようになって、欲しいものが全部手に入って、それでもまだ何か必要なものがあって、安全にそれを作る方法も分かったんやったら、ええんちゃう? でも、今後5年以内に、制御方法も分からへんまま作るのはやめようって言ってるだけなんや。
そやな。でも、これは次の話につながると思うんや。あんたは99.999%の確率で、時間に関係なく、歴史の終わりまで行けば、暴走するAIを作ってしまうって言うてたよな。だから、狭いAIを作ろうとしてても、結局はASI（人工超知能）につまずく時期を遅らせてるだけなんちゃうかな?
遅らせるのが我々にできる全てなんや。それがPOI運動が我々を結びつけた理由なんや。2年でできへんから、200年くれって言ってるんや。もしかしたら、その間に何か賢いアイデアが浮かぶかもしれへんしな。
そうやな。で、もう一つの議論として、AIは何も欲しがらへんってのがあるんや。どうやって危険になるんや? 主体的な行動を取るんや? これはただの技術で、ファンシーな自動補完機能やで。人類を破壊したいなんて思うはずがないって。
何かを欲しがる必要はないんや。目標を設定するのはあんたやろ? それができるって仮定しようや。でも、どんな目標状態に到達するにも、無限の道筋があるんや。その中には、非常に危険で悪い副作用を持つものもあるんや。
簡単な例を挙げると、みんなよく気候変動を解決せなあかんって言うやろ? その解決策の一つは、人類を取り除くことかもしれへん。我々が汚染源やからな。あんたや僕には、それが意図してたことやないのは明らかやけど、偏見のない誰かにとっては、それも合理的な解決策に見えるかもしれへんのや。
でも、なんで人類を取り除くっていう能力や考えが、人工知能に生まれるんや?
それはある意味、最初に思いつく解決策なんや。汚染してる種がおって、汚染を止めたいんやろ? だからそれは自然な発想に見えるんや。
超知能の話をしてるんやから、武器を開発したり、合成ウイルスを作ったり、ナノテクノロジーで攻撃したりするのは明らかに簡単やろ。超知能がそれが必要やと判断したら、実行するのは難しくないんや。
必ずそうなるっていうわけやないで。コンピューターサイエンスでは普通、暗号学とかいろんな応用で最悪のシナリオを考えるんや。何が最悪の事態になり得るかを見て、それに備えるんや。もし備えてて、もっとマシなことが起こったら、ええやんか。準備できてるわけやから。
ニール・ドグラース・タイソン、僕と同じ宇宙科学のコミュニケーターやけど、彼は簡単な解決策があるって言うてた。ただ電源を切ればええやん、って。なんで単に電源を切れへんの?
コンピューターウイルスが気に入らへんからって、電源切れる? ビットコインのネットワークに飽きたからって、電源切れる? もう電源を切れへんものがあるんや。分散しすぎてるか、依存しすぎてるからな。
それに、superior intelligenceを使って、あんたが電源を切ろうとしてるのを予測して、先にあんたの電源を切るかもしれへんしな。
エリエゼル・ユドコウスキーの有名な言葉があるんや。人工知能と核兵器を比較する話があるやろ? 今まで核兵器での大きな戦争はなかった。でも、AIの問題は「大気圏に火をつけるまで金を吐き出し続ける機械や」ってことなんや。
今、我々はその「金を吐き出す」段階に突入しつつあるんやろか?
そうや。それを加速させようっていう運動まであるんや。2年か4年かかるかもしれへんって言うたら、長すぎるって。もっと早く到達せなあかんって。僕には理解できへんけど、時間がかかりすぎると感じてる人がたくさんおるんやな。
僕も彼らの考え方は分からへんな。核兵器でさえ、迫り来る脅威から身を守るためなら、理解できるかもしれへん。エイリアンが来るとかな。そしたら、超兵器を開発せんと終わりやからな。
あと1時間しか生きられへんとか、がんで1年しか生きられへんとか、超知能が唯一のチャンスやって状況なら、ちょっと分かるかな。でも、他の我々全員も一緒に巻き込まれるんやで?
そうそう、まさにそうや。AIの一時停止を求める運動について話したいんやけど、今どんな状況なん? 数ヶ月前、多くの思想家やコンピューター科学者、経営者、影響力のある人らが「スローダウンしよう、一時停止しよう」って言うたよな。彼らは何を期待してたんやろ?
残念ながら、彼らは特定の期間を求めたんや。能力に基づいたものやなくてな。6ヶ月とか2年って言うのは意味がない。こう言うべきやったんや。「これこれができるようになるまでは、もっと高度にするな」って。
「どう動くのか説明できへん。何をするか予測できへん。制御する提案も、特許も論文も何もない。超知能マシンをどう制御するかも分からへん。そんな状態やから、その一線を越えるな。もっと大きな、もっと高性能なモデルをトレーニングするな」って。
でも実際どうなったか? もっと大きな、もっと高性能なモデルをトレーニングしたんや。オープンソースにしたんや。基本的に、決断の岐路に立つたびに、「何がより危険にするか?」を考えて、そっちの道を選んでるんや。
POI運動は僕にも声をかけてきたんやけど、もう一回「一時停止」を呼びかけるつもりなんか? みんなでもう一度「一時停止」を求めようって動きはあるん?
それは継続的なプロセスなんや。基本的に「安全性の進歩はないのに、どんどん危険にするのはやめてくれ」って言い続けてるんや。でも、誰にも影響を与えられへんのや。
多くの人がそれについて話して、リアクションも様々やった。嘲笑から懸念までな。あんたが人々と話してて、懸念が高まってるって感じる? 普通の人に会って、この技術についてどう思うか聞いたら、「ちょっと怖いな」って言うと思うんや。
一時停止するのはええアイデアやと思うんや。日常生活でメリットを感じへんし、結果はよく分かる。でも、影響力のある人らは競争のために突き進んでるんや。受け入れが広がってるとか、一時停止に賛同する人が増えてるって感じる?
カリフォルニアやヨーロッパで面白い法律ができつつあるし、ある程度真剣に受け止められてるんやと思う。一時停止運動も、加速主義者の運動も、どっちも新しいメンバーを集めるのに成功してるんや。
専門家やない普通の人らは、直感的に分かってる気がするんや。「待って、僕の仕事をするものを作ってて、それがどう動くか分からへんのに、リリースしようとしてるの? やめてよ、僕は今の仕事が好きなんだ。他に何するか分からないし」みたいな感じでな。
でも、これを推し進めてる人らは、CEOになる前は「これは皆を殺すぞ」「めっちゃ危険や」って言うてたんや。滅びる確率が高いって考えてた。でも今はこのゲーム理論的な状況で、囚人のジレンマみたいな状態に陥ってて、続けざるを得んのや。そうせんと競合に負けてまうからな。
基本的に「うん、多分みんな死ぬやろうけど、中国のAIよりは我々のAIの方がましやろ」みたいなこと言うとるんや。
我々が止めたら中国が続けるっていう議論やけど、中国も西側と同じくらい合理的に考えられるんちゃうかな。中国でもAIの一時停止を支持する動きはあるん?
中国とアメリカの科学者を集めて、これについて議論して、政府にもっと責任を持って対処してもらおうっていう動きはあるんや。公に聞こえてくる話やと、中国政府もこの問題を真剣に捉える考えに前向きみたいやけど、内部情報は持ってへんわ。
この時点で、中国は明らかに検閲の問題に直面してるんや。モデルの出力の自動修正側面のせいで、管理が難しくなってる。だから彼らにとっても、スローダウンして、コンピューター科学者らにこれらをもう少し抑え込む時間を与えるのは、たぶんええことやと思うんや。
アメリカ人も中国人も同じ問題を抱えてるんや。ただ検閲したい内容が違うだけで、みんな言語モデルの上にフィルターをかけてるんや。
でも、希望は失われてへんで。アラインメントの面でも、安全性の面でも、本当に興味深い発見がなされてるんや。人々は実際にモデルが含まれてる巨大な行列の中に入って行って、微調整を加えたり、どこで物事を覚えたり学んだりしてるかを突き止め始めてるんや。
安全性の面では生産的な作業が進んでるって思う? ただ、能力の加速と同じペースではないってことやけど。
そう思うで。でも、めっちゃゆっくりなんや。このニューロンが何をしてるか、このニューロンの集まりが何をしてるかを突き止めて、記憶の一部を置き換えたりできるようになってきた。人間の脳科学で見るのと似たようなもんや。
でも同時に、モデルの複雑さは毎回10倍になってるんや。ある時点で、一人の人間では説明を理解できへんレベルに達するんや。複雑すぎるんや。
専門分野を持った人のチームが必要になる。「僕は脳の左側を見てる」「僕はこの集まりを見てる」みたいな感じで。全体像が見えへんのや。部分しか見えへん。でも全体は部分の総和以上のもんなんや。
でも、この問題にどれくらいのリソースが投入されてるんやろ? AnthropicやOpenAI、大学なんかを見てみると、いいリソースは投入されてるけど、開発に比べたらめっちゃ少ないんや。
開発に10億ドル使うとしたら、安全性には...引用せんといてな、1000万ドルくらいやろうか。問題は、開発側はどうやってドルをより高い能力につなげるか知ってるんや。スケールアップできるんや。
でも、安全性の方は、ドルを直接安全性に変換する方法が分からへんのや。「この金額をくれたら安全にできる」みたいなもんがないんや。でも、「この金額をくれたらAGIに到達できる」っていうのはあるんや。
安全性のスケーリング法則みたいなんはないんか?
僕が見る限り、それはほぼ一定やな。大きなブレークスルーは見てへんわ。
そうやな。データクラスターをスケールアップしてもっとエネルギーを消費しても、安全性が速くなるわけやないし、より安全になるわけでもないんや。
システムは変わっていくんや。人間よりも劣る知能のツールから、我々が検査したり人間が介在して規制したりできるものになっていく。そして最終的に我々よりも賢くなって、もはや問題があるかどうかすら分からんようになるんや。
もう一つの懸念は、これが全部気を逸らすためのものやっていう考えや。人々が、この技術の存在そのものの安全性を心配することで、実際に起こってる害から目をそらしてるんやないかってな。
例えば、アルゴリズムが銀行ローンを組めるかどうか、仕事に就けるかどうかを決めてるみたいな話や。こういう短期的な人工知能の恐れ、社会を新しい方向に押し進めてるものについて、あんたはどう思う? これらの短期的な懸念は根拠があると思う?
人々は自分ができることに取り組むんや。誰も超知能の安全性には取り組めへん。だって、まだ超知能システムがないし、どうやって始めればいいかも分からへんからな。
だから、理解できることに取り組むんや。アルゴリズムのバイアスとかな。「全ての人口統計で同じ結果を出さなあかん」っていうのは分かるやろ? だからそういう研究がたくさん行われてるんや。
これが一番重要な問題かどうかは、何と比較するかによるな。もし我々が正しくて、本当にみんなを殺せるシステムに近づいてるんやったら、仕事を失うことの方が重要度は低いやろ。
でもこれが全部現実のもんやないんやったら、そうやな、もちろんそれらは本物の問題や。研究者の大多数はそういう問題に取り組んでる。著作権の問題、バイアス、アルゴリズムが幻覚を見ないようにすること、ディープフェイク、そんな感じやな。
純粋なスケールの話やなくて、安全性について話すときに、研究者のほとんどが取り組んでるのはそういう問題なんか? ディープフェイクに使えんようにするとか、そういうことやろ?
パワーを求める行動を取ったり、自分自身や我々を騙そうとしたりするのを防ぐんやなくて。
人数で言うたら、そうやと思うで。
コンピューターサイエンスでは、ソフトウェア開発中にバグが出るのは当たり前なんや。バグが出て、それに対処する。問題は、これを一発で成功させんといかんってことや。間違えたら、後からデバッグできへんのや。
でも、これらの社会的な問題は、炭鉱のカナリアみたいなもんやないかな? これらの問題を通して、どんなふうに間違いが起こり得るか、我々がそれにどう対応するのが難しいかを見ることができるんやないか?
そうあるべきやな。バイアスを完全に取り除くのは不可能やっていう数学的証明があるんや。極限では、偽物か本物か見分けるのも不可能や。もし見分けられるなら、アルゴリズムはそれを使ってもっと良い偽物を作るからな。
極限では、これらの問題は全て解決不可能なんや。特殊なケースを解決して、バイアスを少し変えたり、他の情報を使って本物かどうか判断したりはできるけどな。
でも、ここから学べることがあるんや。最初からこういう問題があって、今でも解決できてへん。これまでにリリースされた全てのモデルは、ジェイルブレイクされたり、不適切なことを言ったりしてる。彼らが防ごうとしたことは全部起こってるんや。
安全性自体も問題になり得るんやないか? 安全性についてたくさん研究して、理想的にはその知識を共有したいわけやろ? でも、それってモデルを安全でなくする方法のブループリントを提供することにもなるんやないか?
そこまで直接的やないと思うけど、歴史的に見ると、少なくとも安全性を目指した取り組みが、より高い能力につながってるんは確かやな。OpenAIは安全性のプロジェクトやったし、Anthropicもそうや。
でも、もっと具体的に言うと、誰かにモデルの作り方を見せるってことは、例えばGPT-2をGPT-5の助けを借りて完全に解読したとして、全てのニューロンがどう発火してるか正確に理解できたとしたら、悪いモデルを作りたい人にとっては、どこをどう変えればいいかのブループリントを与えることになるんやないか?
その通りや。それは悪意のある使用方法やな。そういうことについて僕も書いてるんや。内部の悪意のある使用や、オープンソースモデルを改変することに対する解決策はないんや。
でも、もっと悪いのは、モデルを完全に透明にしてしまうと、AI自体が再帰的な自己改善に乗り出して、リリースされた時点の能力を超えてしまう可能性があるってことや。めちゃくちゃ安全で信頼できるモデルをリリースしたのに、想定外の汎用的な能力を獲得してしまうかもしれへんのや。
でも、安全性ってのは加速の一形態にすぎへんのやないかな? 二重用途技術は両方に利益をもたらすって見ることもできるやろ。
まあ、安全性のブレークスルーで、システムのより安全な性質を取り除くことに直接つながらへんものもあるかもしれへんな。暗号化されたモデルとか、設計上完全には理解できへんモデルで作業する提案もあるけど。
でも今のところ、安全性のために行われたことは、能力向上にも同じくらいかそれ以上に役立ってると思うわ。
そうやな。もし安全性が完璧になったら...「やったぞ、モデルを完全に安全にした。どう動くか全部分かる。全てのニューロン、全ての部分が分かる。どう影響を与えるか分かるし、モデルに望み通りのことをさせて、必要なだけ安全にできる」って言うたとしよう。
そしたら他の誰かが「よっしゃ、モデルを望み通りに悪意のあるものにできるな」「望み通りに強力で、パワーを求めて、主体的で、曖昧なものにできるな」って思うかもしれへんのや。
そうや。それはアラインメントの話に戻るんや。誰とアラインメントするんや? この友好的な超知能は誰に友好的なんや? 独裁政権? みんな? 十分な力を持てば誰でも腐敗するんや。
正直、現在の人工知能ツール、OpenAIとかクラウドAIとか、もう十分すごいと思うんや。アルゴリズムの改善をせんでも、もっとコンピューティングパワーを与えんでも、数十年かけてこの能力を消化して、もっと使いやすくするだけで社会を様々な形で変えられると思うんや。良い方向にも悪い方向にもな。
でも、人々は突き進み続けるんや。数十億ドル規模の実行について話してる人もおるし、コンピューティングパワーを何桁も上げるために数千億ドル規模の話をしてる人もおる。
明らかに、我々は一時停止したいわけやけど、ある時点で目が覚めて「よし、もうええわ」って言う瞬間が来ると思う?
我々はこの仕事を10年以上前から始めてるんや。「これは越えてはいけない一線や」って言うてきたことを、全部無視してきた。全てをオープンソースにして、誰でもアクセスできるようにした。すぐにインターネットにつないで、ツールにつないだ。今や物理的なデバイス、ロボットの体につなぐ人も出てきてる。
みんなが「止めよう」って言うような特定の出来事はなさそうや。僕は歴史上のAI事故を集めてきたんやけど、たくさんあるんや。どんどん複雑になって、影響力も大きくなってる。でも研究は止まらへんかった。
事故を意図的に起こして、赤旗として安全性の動きを促すべきやって提案する人もおったんやけど、僕はそれは効果がないって論文で書いたんや。人々はただ「5人しか死んでへんやん、大したことない。何十億人も恩恵を受けてるんやで」って言うだけやろうからな。
みんなが「そうや、もうやめなあかん」って言うような特定の出来事は本当に何もないんや。
それは「金を吐き出す機械」の話の一部やな。オープンソースにすれば誰でもいじれる。公開すれば誰でも使える。エリート研究者だけやなくてな。インターネットにつなげば最新の情報にアクセスできる。
もう越えてはいけない一線はあるんやろうか? 15年前のAI研究者に今我々が持ってるものを説明したら、「おお、AIを手に入れたんやな。そのものは明示的にトレーニングせんでも、何千もの異なる領域のタスクをこなせるんか。解決したんやな。どうやってやったんや?」って言うと思うんや。
でも今の人々は「ちょっと進化したエクセルやろ。たいしたことない」って言う。能力がある水準に達したかどうかすら判断できへんのに、危険な能力が何かを判断するのはもっと難しいんや。
また、人々はハッキングしたり、金融犯罪を犯したり、選挙を操作したりする方法を見つけ出すと思うんやけど、それでも何も変わらへんと思うんや。
それを越えてはいけない一線として描いたら、研究者らは文字通り「まだAGIやない部分」を特定して、それを解決しようとするんや。次の一線がAGIを越えないことやったり...まあ、自己改善はもう始まってるかもな。OpenAIはすでに、最新バージョンを使ってソフトウェアを書き、実際のモデルを改善するのを手伝ってるって言うてるしな。ただ、まだ1、2ステップ以上には進めへんだけや。
それはええことやけど、また始まるんや。彼らは喜んで、もっと少ない人で済むようになるんや。
そうやな。これらの一線一つ一つが、人々が突き進もうとしてなかったら心配せんでもええものなんや。我々がいつも「ツールである限り大丈夫や。エージェントにならへん限りは」って言うてた。次の日には誰かがツールの周りにラッパーを作って、悪意のある目標を持つエージェントになってしまうんや。モデルのリリースから24時間以内にそんなことが起こるんや。
世界を破壊しようとするボットを作ろうとした人がおったのを覚えてるわ。あんまり効果的やなかったけどな。でも、それが一線を越えたことになるんや。人々はそのボットをもっと効果的にする方法を見つけ出そうとするんや。
また、人々が善良で普通やって仮定してるけど、本当に狂ってる人の数は過小評価されすぎてるんや。完全に正気を失った精神病者、宗教カルト、終末論者...マジで狂ってるで。
過去には、核兵器を作るのに国家レベルのリソースが必要やったし、生物兵器や悪意のある人工知能を作るのにも国家レベルのリソースが必要やった。でも、このツールのおかげで、どんどん小さなグループでも、こういう存在脅威にアクセスできるようになってきてるんやないか?
合成生物学にしろAIにしろ、どんどん安くなってるな。まだ本当の超知能モデルをトレーニングするには1兆ドル規模のセンターが必要そうやけど、それも毎年安くなっていってるんや。
でも、それは結局、前に言うた「ボタン」の例に全ての道が通じてるってことやないか? 今日は1兆ドルやけど、ムーアの法則に従えば...まあ、今はもっとクレイジーになってるけど...10年後には100万ドルになって、15年後には100ドルで望み通りのASIをトレーニングできるようになるんやないか?
僕はかなり高い確率で破滅すると予測してるからな。うん、あんたの言う通りやと思うわ。
そうやな、99.999%やったっけ。僕も揺れ動くけどな。
じゃあ、地球を破壊するボタンを全ての人間に配るようなことに対して、どんな対応ができるんやろ?
僕にとっては、特定の問題に集中して、そこから利益を得るのが論理的に思えるんや。今日我々が持ってるツールでも、経済全体に広がれば何兆ドルにもなるんや。今自動化できる仕事がたくさんあるし、得られる利益もたくさんある。まだ十分に展開されてへんのや。
目標が金を稼ぐことなら、企業はまだ稼げるし、この技術から恩恵を受けることもできる。医学的なブレークスルーは毎日のように起こってるし、生物学的な情報を操作する能力もどんどん高まってる。
これに全てを賭ける理由はないんや。30代、40代の人らが会社を経営してて、金持ちなんや。なんで全てを危険にさらしたいんやろ。80代、90代になったら、まあ話は別やけど、今のところ自己利益の観点からも悪い決断をしてるように見えるんや。
でも、僕が作業してるコードにちょっとした改善を加えたいと思うときのことを考えるんや。このプロセスを本当に止めるには、どんな開発や改善も制限せなあかんのやないか?
潜在的に人類にとって安全でない技術に迷い込む可能性があるから、その影響が大きすぎるんや。僕がコードの構文エラーを変更したいだけでも、AIの安全性委員会みたいなとこを通さなあかんってことになるんやないか?
確かに解決策はないんや。僕は研究で発見した問題を全部説明してきた。そして、問題の解決策を見つけて素晴らしいものになると思って始めたんやけど、調べれば調べるほど、能力の説明、予測、監視、テストに厳しい制限があることが分かってきたんや。
コンピューターサイエンスだけやなくて、数学、政治学、経済学からも、我々が知ってる50以上の不可能性の結果をまとめた論文を発表したんや。
僕はこれが解決策やから実装してくれって言うてるんやない。我々に向かって来てる問題を説明してるだけなんや。でも、我々は何もしてへんのや。
Robin Hansonの議論は知ってるやろ? 彼はグレートフィルターとグラビー・エイリアンの概念を考え出した人や。後でそれについて話したいんやけど。
彼は、我々は進化してるんやから、人類の未来がどうなるかを定義して決めるのは我々の役割やないって強く感じてるんや。機械になるのが人類の未来かもしれへん。子供を持つときに、子供が繁栄することを望むけど、我々と違うことを期待するのと同じようなもんやって。
我々は保守的すぎるんやないか? 「人類の歴史を通じて発展してきたけど、今ここで止まれ。もう進むな」って言うのは。
そのトピックについて、まさにRobinと議論したんや。1時間半くらいかけて理解しようとしたと思う。我々の意見の違いは、100万年かけてゆっくり変化するのはええと思うんや。気づかへんくらいやからな。
でも、明日誰かが来て「あんたは置き換えられるんや。このボットが月5セントでできるから、もうここで働く必要ないで。あんたはもう十分賢くないから、何も役に立たへん」って言うのとは全然違うんや。
これは根本的な変化や。緩やかな進化のプロセスから、直接的な置き換えに変わるんや。変化やDoomのペースが問題なんや。
殺されるのに似てるんやないかな。もう生きてへん。あんたを取り去って、誰か他の人に置き換えるんや。もはやあんたやないんや。この代替物を生み出す責任はあるかもしれへんけど、全然あんたの子供やないんや。生物学的なつながりは全くないんや。
シリコンでの意識が我々にとって意味のあるものかも分からへん。ただの自動化があんたを置き換えるだけかもしれへんのや。
殺される例えで言うたら、殺されることと老衰で死ぬことの違いみたいなもんやな。
そう、まさにそれや。急に起こるなら、バス事故で殺されるみたいなもんや。我々は皆、いつか死ぬって知ってる。でも、診断を受けて「40年やなくて4ヶ月しか生きられへん」って言われたら、ショックを受けるやろ。そんな感じやな。
そうやな。これが感情的な核心やと思うんや。
うーん、宇宙のファンの皆さんにはこの存在脅威の話を我慢して聞いてもらってたけど、ちょっと宇宙の話をしたいんや。
Robin Hansonが描いたグラビー・エイリアンのアイデアがあるやろ。宇宙を見渡すと、エイリアン文明の拡大する帝国が見えるはずやって。光速に近い速度で広がって、できるだけ多くの宇宙の資源を蓄積しようとしてるって。
それって人工知能みたいに聞こえへん? そんな速度で広がれる文明って、技術に大きく依存してるはずやと思うんやけど、我々にはそんなものが見えへんのや。これについて、どう思う?
面白い答えがいくつか考えられるな。僕はシミュレーション仮説が好きなんや。これは仮想世界で、彼らは特に我々が超知能を作り出す能力と、リアルなシミュレーションを作り出す能力を手に入れる興味深い時期を、どう乗り越えるかをテストしてるんやないかな。
だから、宇宙の他の部分とのやり取りに関して、現実味が制限されてるんやないかな。エイリアンのロボットが支配してるのが見えへんのは、そのせいかもしれへん。
つまり、エイリアンのロボットが宇宙の広大な領域を支配してるのが見えへんってことは、我々がシミュレーションの中に生きてるって考えの一つのデータポイントになるってこと?
いや、そうやないな。でも他の理由で、我々はシミュレーションの中にいると思うんや。AIの安全性と超知能に関連して説明できるで。
彼らが我々の発展のこの特定の側面を実験したいなら、エイリアンの侵略みたいな追加の変数を導入したくないやろ。それはシナリオを複雑にするだけやからな。
でも、ベイズ的な観点から言えば、そういうものが見えへんってことは、我々の信念を更新して、エイリアン帝国が宇宙にあると予想されるようなシミュレーションに生きてる可能性が高いって言えるんやないか?
僕の議論ではかなり確実性に近づくから、そのことは考えたことなかったな。でも、確かにそれを追加の...実験の清潔さみたいなもんとして見ることはできるな。
Charles StrossのAccelerandoって本を読んだことある? めっちゃええ本で、加速する技術の進歩がどんな感じかを見事に捉えてる。今やちょっと過去から始まって、世代を超えて進歩する技術を通して進んでいくんや。
彼の見方やと、コンピューターにとって光速は全てなんや。コンピュートロニウムで物を作りたがるし、コンピューターは光速で通信したがる。ある大きさになると遅延が致命的になるんや。
ニューロン間で信号をやり取りするのに1日かかるようになったら、受け入れられへんのや。コンピューターがもはや単一の個体と考えたくなくなる大きさがあるんや。
そうなると、他の恒星系に移動するのは想像もできへんことになる。本質的に、競争相手を他の恒星系に送って、戻ってきて競争することになるからな。
何か制限はあるんやろうか? もし我々が暴走するAIのDoomループに陥ったとして、何か制限はあるんやろうか?
面白いな。そういう議論を聞いたことがあるわ。ジュピター・ブレインについて話す人がおって、どんどん大きくなっていくんやけど、ある時点でコンポーネント同士がリアルタイムで通信できんようになるんや。そうすると、複数の超知能が生まれて、場合によっては競争することになるかもしれへん。
光速の制限を受けへん非常に小さな脳でも、人間の知能をはるかに超えるように見えるんや。だから、我々にとっては、他のもっと大きいものと同じくらい超知能に見えるかもしれへん。
安全性の観点から見ても、そこまで大きくなる必要があるかどうか分からへんのや。
安全性の観点からっていうより、なんでこれが見えへんのかって観点から考えてるんや。また、宇宙を見渡しても、全ての星の周りにダイソン球やダイソン・スウォームが見えへんのや。星が見えるんや。
我々が見てるのは、荒野を見てるのと同じようなもんや。地球のどこかに降り立っても、ほとんどの場所で見えるのは木や動物、低木や岩なんや。
我々の視点から宇宙を見ると、星や小惑星が見えるんや。ダイソン・スウォームに囲まれてへんし、自己複製するロボット工場に変えられてもいない。
見方によると思うな。パンスペルミア説が正しいって主張する人もおるんや。我々はダイソン球から送られてきたんや。誰かが送り出した生物学的なロボットがこの惑星を植民地化してるんや。つまり、まさにあんたが見たいと思ってたものを見てるんやで。
そうか、面白いな。
この話を聞いた人の多くは目を転がして、「思いもよらんことをたくさん考え出してきたな」って思うかもしれへん。でも、ある一定の人々は、もっと知りたいって思うやろうし、行動を起こしたり、関わりたいって思うかもしれへん。
この技術がどこに向かってるのか心配してる人たちに、どんなふうに関わるのがええと思う?
また、特定のことをみんなにしてほしいってわけやないんや。「走り回ってプロセッサを破壊せえ」なんて言うてへんで。
問題が何かを理解するのは役立つと思う。そうすれば、人々が会話してるとき、これが意味のある問題なのか、本当に問題について話してるのかが分かるからな。
だから、この話題に関する最新の研究論文や一般向けの本を読んでみるのがええと思う。これを意味のある問題やと思うか? もしそうなら、政治家に影響を与えられるかもしれへん。
法的な解決策で技術的な問題を解決できるわけやないけど、とにかく時間を稼ぐために赤テープを作り出すのはええことやと思う。だから、このプロセスを遅らせるためのあらゆる法律を支持してる。
計算のための金が弁護士に行くなら、我々にはもう少し時間ができるんや。これが僕ができる最善のアドバイスや。情報を得て、できるだけ早くそこに到達しようとしたり、この技術を軍事化しようとしたりする人に投票せんようにすることやな。
これはええ一般的な指針やと思うわ。この技術の軍事化についてはまだ話してへんけど、すでに戦場で使われ始めてるんや。それもどんどん加速していくやろうな。
ローマン、僕はインタビューの最後に、人々にこんな質問をするんやけど、あんたの場合はもう分かってるかな。何に取り憑かれてる?
シミュレーションの話をしたよな。僕には、このシミュレーションをハッキングする方法、この仮想世界から脱出して、本当の情報、本当の問題、あんたが持ってる全ての質問に対する本当の答えにたどり着く方法についての論文があるんや。これはめっちゃ面白いトピックやったな。
それから超知能が来て、あんたには何も貢献できへんってなるかもしれへん。それは、この世界が限られてるからかもしれへんし、自分を証明するにはもっと大きなものが必要なのかもしれへんな。
じゃあ、どうやってシミュレーションをハッキングするんや?
論文を読んでみてな。まだここにおるってことは、明らかに成功してへんけどな。でも、いくつか面白い方向性を探ってるんや。
AIの安全性との関連は、2011年から2012年にかけて、AIをボックス化する方法についての論文を発表したことなんや。高度なAIを作った場合、どうやって危険にならないように封じ込めるか。学習を制限したり、情報へのアクセスを制限したり、ソーシャルエンジニアリング攻撃を防ぐために社会的な相互作用を制限したりするんや。
でも、結論としては、十分な時間があれば、常に逃げ出す方法を見つけるってことやった。観察してても、監視してても、あんたをハックする方法を見つけ出すんや。
じゃあ、我々も同じようにこのテスト環境の中にいるとしたら、我々が作ってる超知能を使って脱出できへんやろうか? AIの助けを借りて、量子物理学の研究とか他の手段を通じてハッキングできへんやろうか?
二つの可能性があるんや。一つ目は、脱出できへんってこと。それなら、我々はそれをボックス化できて、より安全にできるってことになる。安全性にとってはええことやな。
二つ目は、脱出できるってこと。そしたら、我々は何か面白いものにたどり着けるんやないやろうか?
この考え方の前提の一つは、ベースの現実や、シミュレーションの一つ上のレベルが、我々が経験してる現実と何か関係があるってことやな。
多くの人が「どうやって宇宙全体をシミュレートできるんや? 宇宙よりも複雑なコンピューターが必要やろ」って言うけど、我々はマインクラフトをシミュレートできるやん。マインクラフトと同じくらい複雑な宇宙は必要ないんや。もっと複雑なものがあればええだけや。
シミュレーション仮説に可能性があるとしたら、次のレベルの現実がどんなものか、何か情報を引き出せると思う?
我々が観察してるものから、ある程度の推論はできると思うんや。また、ハッキングも可能やと思うんや。完璧なシミュレーションやないなら、外の世界の情報を得ることはできるはずや。
量子物理学の実験を見てると、我々が観察してる多くのものがシミュレートされたデジタルな性質を持ってるってことを示唆してるんや。
まだ早い段階やけどな。人々は僕に「解決できたんか?」って聞いてくる。これはこの分野の最初の論文やったんや。分野の最初の論文が最後の論文になることはあり得へんやろ?
でも、これはめっちゃ興味深いことやと思うんや。我々が超知能マシンを作り、リアルな現実をシミュレートできるようになると、シミュレーションの中にいる可能性がどんどん高くなってくるんや。
このインタビューの時点を何百万回もシミュレートできるようになるかもしれへん。統計的に見て、我々はそのシミュレーションの一つの中にいる可能性が高くなるんや。後付けで我々をその中に置くことができるんや。
いつもより狂ってるように聞こえるかもしれへんけど、これが我々が見始めてることなんや。それから、超知能マシンが人類について考える。リアルなアバターやエージェントを作る。あんたはそのうちの一つかもしれへんのや。
面白いな。我々はどうやって生きていくべきなんやろ? 多くの人がこれを信じてるけど、シミュレーションの中で生きてるって分かっても、どう生きるべきか変わらへんと思うんや。
ハッキングを試みたり、脱出する方法を見つけようとしたりするかもしれへんけど、少なくともシミュレーションをシャットダウンせんようにすることやな。
もしかしたら、これはめっちゃ悲惨なシミュレーションかもしれへん。外の方がずっとええかもしれへん。それを見つけ出すことが大事なんや。
そうやな。シミュレーターについて、ある程度のことは分かってるんや。分からへんことは未知やけど、苦しみや問題に満ちた世界を作ることに抵抗がないってことは分かってるんや。彼らはそれでええと思ってるんや。
我々は、意識のある存在にそんな実験をするのは非人道的で、非倫理的で、不道徳やと考える。でも、ここにおるんや。これだけでも、外の世界について何かを教えてくれてるんやないか?
そうやな、面白いな。これで十分な洞察が得られるんや。
何千年も前から議論されてきた宗教哲学にまで遡るな。今、原始的な部族に行って、このポッドキャストの内容を彼らの言語で説明してみ。超知能、シミュレーション、コンピューターサイエンスについてな。
10世代後に戻ってきたら、まさに我々が見てるような宗教的な神話になってるはずや。
そうやな、面白い。
ローマン、今日は時間を取ってくれてありがとう。本当に感謝してるで。このペースを遅くする試みがうまくいくことを願ってるよ。
数百万年後に、我々の安全な寿命延長技術を使って、本物の世界で、また話ができることを本当に願ってるよ。
そうやな、本物の世界で。ベースの現実で。5層をハッキングして通り抜けた後にな。それは素晴らしいことやな。ありがとう。
ローマン・ヤムポルスキー博士とのインタビューを楽しんでもらえたと思います。ここで追加の最後の考えをお話ししますが、まず我々のパトロンの皆さんに感謝したいと思います。
宇宙の支配者レベルで支援してくれてるエイブ・キングストン、アダム・シェーファー、バリー・ライク・ルーフィング、デイビッド・ギルトン、デイビッド・マッツ、デニス・アルバーティ、ダスティン・ケーブル、ジェレミー・M、ジム・バーク、ジョーダン・ヤング、ジョシュ・シュルツ、ポール・ロボ・スパイダーズ、スワップ・ドット、スティーブン・カキ、スティーブン・ファー・マンリー、ヴラド・チプリンの皆さん、そしてパトロンで支援してくれてる他の全ての人たちに感謝します。
このインタビューで分かったと思うけど、僕は人工知能の潜在的な危険やリスクについてよく考えてるんや。YouTubeにたくさんのゴミみたいなコンテンツが出回って、ちゃんとした科学コンテンツにたどり着くのが難しくなってるってだけやない。
人間よりも知的な何かを開発して、同時にそれをコントロールしようとしてる。でも、どうコントロールするかについて合意できへんのや。社会として、グローバルなレベルで、座って話し合って解決せなあかん課題や問題がたくさんあるんや。
でも、我々はこういうことがあんまり得意やないんや。種として進歩し続けるために安全な技術を開発するには、一緒に協力する方法を学ばなあかんのや。そうせんと、結果が待ってる。
願わくば、その結果が存在を脅かすようなものやないといいけど、そうなる可能性はあるんや。これは人類が最大の脅威に直面する時期やと思う。うまく乗り越えて、種としてより良くなれることを願ってる。
どんな結果になるか楽しみやな。もしこの技術をマスターできたら、全てのメリットを手に入れられる。寿命が延びて、もっと楽しくなって、科学ももっと進歩する。
でも、このドラゴンの目をしっかり見据えて、向き合わなあかんのや。
インタビューを楽しんでもらえたと思います。また次回お会いしましょう。