見出し画像

イリヤ・サツケバー（OpenAI チーフサイエンティスト）- AGIの構築、アライメント、スパイ、マイクロソフト、そして悟り

AGIに仕事を奪われたい

18,771 文字

今日はOpenAIの共同創業者であり、チーフサイエンティストのイリヤ・サツケバーにインタビューできる機会を得ました。イリヤさん、ルナー・ソサエティーへようこそ。
ありがとう、来られて嬉しいです。
最初の質問です。謙遜は抜きでお願いします。自分の分野で大きなブレークスルーを成し遂げる科学者はそう多くありません。さらにキャリアを通じて複数の独立したブレークスルーを達成し、分野を定義づける科学者はもっと少ないですが、その違いは何でしょう？他の研究者と比べて、なぜあなたは複数のブレークスルーを成し遂げることができたのでしょうか？
ご親切な言葉をありがとうございます。その質問に答えるのは難しいですね。私はただ本当に一生懸命頑張って、持てる全てを注ぎ込んできました。これまでのところ、それで上手くいっているということだと思います。
なるほど。GPTが違法な目的であまり使われていない理由は何だと思いますか？なぜ外国政府がプロパガンダを広めたり、おばあちゃんをだましたりするのに使っていないのでしょうか？
多分、まだそこまで本格的にやってないだけかもしれません。でも、実際に今そういうことが起きていても驚きませんね。オープンソースのモデルを使って、そういう目的で使おうとしているのは想像できます。将来的には間違いなく、彼らはそういうことに興味を持つでしょうね。
技術的には、単にまだ十分に考えていないだけなのでしょうか？
あるいは、まだ大規模にはその技術を使っていないだけかもしれません。あるいは実際に起きているのかもしれません。それは困ったことですが。
もし起きているとしたら、追跡することは可能ですか？
大規模な追跡は可能です。特別な作業は必要ですが、可能です。
AIが飛行機のような規模で経済的価値を持つけれど、まだAGIには到達していないという期間があるとして、その期間はどのくらいでしょうか？
正確な答えを出すのは難しいですし、間違いなく複数年の期間になるでしょう。それは定義の問題でもあります。なぜなら、AGIになる前のAIは、年々指数関数的に価値が高まっていくからです。
振り返ってみると、たった1年か2年だったように感じるかもしれません。なぜなら、その2年間は前の年々よりも大きな価値があったからです。でも、すでに去年からAIはかなりの経済価値を生み出しています。来年はもっと大きくなり、その後もさらに大きくなっていくでしょう。なので、今からAGIまでの間、そういう状態が続く期間はかなり長い複数年になると思います。
なるほど。あなたのモデルを使っているスタートアップについて気になるのですが、AGIができた時点で、世界にはOpenAIという1つのビジネスしか存在しなくなりますよね。どのビジネスにも、AGIが生み出せないものを作り出せる期間がどれくらいあるのでしょうか？
それはAGIまでにどれくらいかかるかという質問と同じですね。答えるのが難しい質問です。数字を挙げるのは躊躇します。また、技術に取り組んでいる楽観的な人々は、そこに到達するまでの時間を過小評価する傾向があるからです。
でも、私が現実的に考えるようにしているのは、自動運転車のアナロジーを使うことです。特にTeslaのサイズを見て、その自動運転の振る舞いを見ると、何でもできるように見えます。でも同時に、信頼性の面ではまだまだ長い道のりがあることも明らかです。
私たちのモデルに関しても似たような状況にあるかもしれません。全てができるように見えますが、同時に、本当に良いものにして、信頼性が高く、堅牢で、よく制御された状態にするには、まだまだ作業が必要です。
2030年までに、GDPに占めるAIの割合はどのくらいになると思いますか？
ああ、その質問に答えるのはとても難しいですね。
over-underで答えてもらえますか？
問題は、私のエラーバーが対数スケールだということです。巨大な割合になる可能性もありますし、同時にがっかりするほど小さな割合になる可能性もあります。
では、小さな割合になるケースを考えてみましょう。2030年になってもこれらのLLMがそれほど経済的価値を生み出していないとします。どんなに考えにくいとしても、なぜそうなったのかについて、現時点であなたが考える最も良い説明は何でしょうか？
それはありそうもない可能性だということを前置きしておきます。でも、あなたの質問の前提に従って、なぜ実世界でのインパクトが期待外れだったのかを説明するとすれば、それは信頼性です。
もし何らかの理由で、本当に信頼性が必要なのに信頼性が得られなかった場合、あるいは信頼性を得るのが私たちが期待するよりも難しかった場合です。私は本当にそうはならないと思います。
でも、あなたが「なぜ上手くいかなかったのか」と聞くなら、それは信頼性でしょう。答えをチェックして二重確認しなければならない状態が続くということです。それは、そういうシステムが生み出せる経済的価値に本当に水を差すことになります。
なるほど。技術的には成熟しているけれど、信頼性が十分かどうかという問題ということですね。
まあ、ある意味で、信頼性がないということは技術的に成熟していないということです。
ええ、その通りですね。
生成モデルの次は何でしょう？以前、あなたは強化学習に取り組んでいました。これは基本的にAGIに至るパラダイムなのでしょうか？それとも、この先に何か別のものがあるのでしょうか？
このパラダイムは本当に、本当に遠くまで行けると思いますし、過小評価すべきではありません。ただ、このまったく同じパラダイムがAGIの最終形態になる可能性は低いでしょう。次のパラダイムが具体的に何になるかを言うのは躊躇しますが、おそらく過去に出てきた様々なアイデアを統合したものになるでしょう。
何か具体的に想定しているものはありますか？
具体的に言うのは難しいですね。
次のトークン予測は人間のパフォーマンスに追いつくだけで、それを超えることはできないと主張することもできますよね？人間のパフォーマンスを超えるには何が必要でしょうか？
次のトークン予測が人間のパフォーマンスを超えられないという主張に異議を唱えたいと思います。表面的にはそう見えます。ただ単に模倣して、人々が何をするかを予測することは、人々をコピーすることしかできないように見えます。
でも、なぜそうではないかもしれないという反論があります。もしあなたの基本的なニューラルネットが十分に賢ければ、「深い洞察力と知恵と能力を持った人物なら何をするだろうか？」と尋ねることができます。
そういう人物は存在しないかもしれませんが、ニューラルネットがそういう人物がどう振る舞うかを外挿できる可能性はかなり高いと思います。分かりますか？
はい、でも...そういう人物が何をするかについての洞察をどこから得るのでしょうか？もし...
普通の人々のデータからです。なぜなら、次のトークンを十分によく予測するということが何を意味するのか考えてみると、それは表面的に見えるよりもずっと深い問題なのです。
次のトークンをよく予測するということは、そのトークンを生み出した基礎にある現実を理解しているということです。これは単なる統計ではありません。統計ではありますが、統計とは何でしょうか？
その統計を理解して圧縮するためには、この統計の集合を生み出す世界の本質について理解する必要があります。そして、「よし、私には全ての人々のデータがある。人々の行動を生み出すものは何か？」と考えます。
そこには彼らの考え、感情、アイデアがあり、彼らは特定の方法で物事を行います。これら全ては次のトークン予測から推論できます。そして、私が主張したいのは、これによって「このような特徴とあの特徴を持つ人物なら何をするだろうか？」と推測することが可能になるはずだということです。
そういう人物は存在しませんが、次のトークンの予測が非常に得意なので、私たちよりもはるかに優れた精神能力を持つこの仮想的な想像上の人物が何をするかを推測できるはずです。
これらのモデルで強化学習を行う場合、強化学習のデータの大部分がAIから来て、人間からは来なくなるまでにどのくらいかかるでしょうか？
すでに強化学習のほとんどはAIから来ています。人間は報酬関数を訓練するために使われています。しかし、報酬関数とモデルとの相互作用は自動的で、強化学習のプロセスで生成される全てのデータはAIによって作られています。
現在の技術/パラダイムを見ると、ChatGPTで注目を集めている人間フィードバックからの強化学習（RLHF）があります。人間フィードバックは報酬関数の訓練に使われ、その報酬関数がモデルを訓練するデータを作るのに使われています。
なるほど。人間を完全にループから外して、AlphaGoのような形で自己改善させることは望めないでしょうか？
ええ、確かに。本当に望ましいのは、AIを教える人間の教師がAIと協力することです。人間の教師が1%の仕事をして、AIが99%の仕事をするような世界だと考えてみてください。100%AIである必要はありません。しかし、次の機械を教える人間とAIの協力が必要です。
これらのモデルを試してみる機会がありましたが、多段階の推論が苦手なように見えます。改善はされてきていますが、その壁を本当に乗り越えるには何が必要でしょうか？
専門的な訓練で達成できると思います。基本モデルへの改良を重ねることで達成できるでしょう。でも基本的に、私は多段階の推論がそれほど下手だとは思っていません。実際、声に出して考えることを許されていない時は精神的な多段階推論が苦手ですが、声に出して考えることを許されると、かなり上手です。より良いモデルと特別な訓練で、これは大きく改善すると期待しています。
インターネット上の推論トークンは枯渇していますか？十分な量はありますか？
これに関する背景として、いずれかの時点でモデルの訓練に使えるトークンが枯渇するという主張があります。そして、はい、いつかそれは起こるでしょう。そしてその時までには、モデルを訓練する他の方法、より多くのデータなしに能力を生産的に改善し、振る舞いを磨き、望む通りに正確に動作させる他の方法が必要になります。
まだデータは枯渇していないのですか？まだありますか？
はい、データの状況はまだかなり良いと言えます。まだまだ先は長いです。でもいつかはデータは枯渇するでしょう。
最も価値のあるデータソースは何ですか？Reddit、Twitter、本のどれでしょうか？他の種類のトークンはどこから訓練しますか？
一般的に言えば、より賢いことについて語っているトークン、より興味深いトークンが欲しいですね。あなたが挙げたソース全てが価値があります。
では、Twitterは違いますか？でも、より多くのトークンを得るためにマルチモーダルに移行する必要がありますか？それとも、まだテキストのトークンは十分にありますか？
テキストだけでもかなり先まで行けると思いますが、マルチモーダルへの移行は非常に実り多い方向性だと思います。
もしお話しできる範囲でしたら、まだトークンを収集していない場所はどこにありますか？
明らかに私たちについては答えられませんが、誰にとっても異なる答えがあるでしょう。
スケールやデータではなく、アルゴリズムの改善だけで、何桁の改善が得られるでしょうか？
答えるのは難しいですが、確実にある程度はあります。
その「ある程度」は多いのですか、少ないのですか？
それを知る方法は一つしかありません。
なるほど。では、これらの異なる研究の方向性について、あなたの簡潔な意見を聞かせてください。検索トランスフォーマー。つまり、データをモデル自体の外に保存して、何らかの形で検索するということですが。
有望そうですね。
でも、それを前進への道筋として見ていますか？
有望そうです。
ロボティクス。OpenAIがそこから離れたのは正しい判断でしたか？
はい、そうでした。当時は本当にロボティクスを続けることができませんでした。データがあまりにも少なかったからです。
当時、ロボティクスに取り組もうとすれば、ロボティクス企業になる必要がありました。ロボットを作って維持するために、本当に大きなグループの人々が必要でした。そして、たとえ100台のロボットを持っていたとしても、それはすでに巨大なオペレーションですが、それでもそれほど多くのデータは得られません。
コンピューティングとデータの組み合わせから進歩のほとんどが生まれる世界では、ロボティクスにはデータへの道筋がありませんでした。そのため当時、ロボティクスを止める決定をした時には、前に進む道筋がなかったのです。
今はありますか？
今なら前に進む道筋を作ることは可能だと思います。しかし、ロボティクスという課題に本当にコミットする必要があります。「何千台も、何万台も、何十万台ものロボットを作り、それらからデータを収集し、ロボットが少しずつより有用なことをできるような段階的な道筋を見つける」と本当に言える必要があります。
そして、得られたデータを使ってモデルを訓練し、少し more useful なことができるようになる。より多くのロボットを作り、より多くのことができるようになり、より多くのデータを収集する、というような段階的な改善の道筋を想像できます。でも、この道筋に本当にコミットする必要があります。
「ロボティクスを実現したい」と言うなら、それが必要です。そういう企業は実際にあると信じています。でも、ロボットを本当に愛し、それらに関する物理的、物流的な問題を全て解決する意欲が本当にある必要があります。それはソフトウェアとはまったく異なります。
今日なら、十分な動機があればロボティクスで進歩を遂げることができると思います。
現在のハードウェアでは上手く動作しないため試せないが、試してみたい興味深いアイデアはありますか？
現在のハードウェアが制限になっているとは思いません。そういう状況ではないのです。
なるほど。でも、試したいことは何でも実行できるのですか？
もちろん。現在のハードウェアがもっと安ければいいと思うかもしれませんし、メモリ処理帯域が高ければより良いかもしれません。
でも、大まかに言えば、ハードウェアは問題ではありません。
アライメントについて話しましょう。アライメントの数学的定義は得られると思いますか？
数学的定義は可能性が低いですね。一つの数学的定義を達成するのではなく、アライメントの異なる側面を見る複数の定義を達成することになると思います。そうやって私たちが求める保証を得ることになるでしょう。
つまり、様々なテストでの振る舞い、一貫性、様々な敵対的なストレス状況での振る舞いを見ることができます。ニューラルネットが内部でどのように動作しているかを見ることもできます。これらの要因を同時に複数見る必要があります。
モデルを世に出す前に、どの程度の確信が必要ですか？100%ですか？95%ですか？
モデルの能力によります。モデルの能力が高ければ高いほど、より確信が必要になります。
では、ほぼAGIに近いものだとしたら、AGIはどこにあるのでしょうか？
そのAGIに何ができるかによります。AGIは曖昧な用語だということを覚えておいてください。
平均的な大学生はAGIですよね？AGIが何を意味するかについては大きな曖昧さがあります。その基準をどこに置くかによって、より多くあるいはより少ない確信が必要になります。
先ほどアライメントへの複数のアプローチについて触れましたが、現時点で最も有望だと思うのはどれですか？
組み合わせだと思います。本当に一つのアプローチだけではいけないと思います。人々は複数のアプローチの組み合わせを望むでしょう。
望む振る舞いと実際に示す振る舞いの間のミスマッチを見つけるために、敵対的に多くのコンピューティングを使います。別のニューラルネットを使って、内部でどのように動作しているかを理解しようとします。
これら全てが必要になるでしょう。このようなアプローチの一つ一つが、ミスアライメントの可能性を減らします。また、モデルの能力が上がるよりも速くアライメントの度合いが上がっていく世界にいたいと思います。
今日モデルを理解するために取っているアプローチは、実際の超強力なモデルにも適用できると思いますか？あるいはどの程度適用できるでしょうか？同じようなものが機能するのでしょうか？
保証はありません。正直に言えば、現在の私たちのモデルの理解はまだかなり初歩的です。いくらか進歩は遂げましたが、もっと多くの進歩が可能です。
最終的に本当に成功するのは、理解されていない大きなニューラルネットの振る舞いを検証するために、よく理解された小さなニューラルネットに課題を与えることだと期待しています。
AIの研究の大部分がAIによって行われるようになるのはいつ頃でしょうか？
今日、Copilotを使う時、どのように分けていますか？いずれかの時点で、ChatGPTの後継に「こういうことについて考えているんだけど、試すべき実りのあるアイデアを提案してくれる？」と尋ねて、実際に実りのあるアイデアが得られるようになると思います。
それによって以前は解けなかった問題が解けるようになるとは思いません。
なるほど。でも、それは何らかの形で人間にアイデアをより速く与えているだけで、研究に自ら関わっているわけではないということですか？
それは一例です。様々な方法で切り分けることができます。でも、そこでのボトルネックは良いアイデア、良い洞察で、それはニューラルネットが私たちを助けることができる部分です。
アライメント研究の結果や製品に対して10億ドルの賞金を設定するとしたら、どんな具体的な基準を設定しますか？そういう賞金に意味のある基準はありますか？
面白いことに、まさにその質問について考えていたところです。まだ正確な基準は思いついていません。2年後、3年後、あるいは5年後に振り返って「あれが主要な結果だった」と言えるような賞かもしれません。
すぐに賞金委員会が決定するのではなく、5年待って遡及的に授与するというものです。
でも、「この特定の問題を解決して、大きな進歩を遂げた」と具体的に特定できるものはないのでしょうか？
大きな進歩はあります。でも、それが全てだとは言えないでしょう。
より大きなモデルにとって、エンドツーエンドの訓練は正しいアーキテクチャだと思いますか？それとも、物事を接続するより良い方法が必要でしょうか？
エンドツーエンドの訓練は非常に有望です。物事を接続することも非常に有望です。全てが有望です。
OpenAIは2024年の収益が10億ドルになると予測しています。それは正しいかもしれませんが、新しい汎用技術について話す時、どのように大きな利益を見積もるのでしょうか？
なぜその特定の数字なのでしょうか？
私たちはGPT-3の時代から、2年前からAPIを通じて製品を持っていて、それがどう成長したかを見てきました。DALL-Eへの反応がどう成長したかも見てきましたし、ChatGPTへの反応も見ています。これら全てが、比較的合理的な外挿を可能にする情報を与えてくれます。それが一つの答えかもしれません。
データが必要です。何もないところからそういうものを思いつくことはできません。そうでないと、エラーバーが各方向に100倍になってしまいます。
でも、ほとんどの指数関数は、特により大きな量になると指数関数のままではありませんよね？では、このケースではどのように判断するのでしょうか？
AIに賭けるのはやめますか？
あなたと話した後では、やめませんね。
AGI後の未来がどのように見えるか話しましょう。あなたはこの大きな目標に向かって週80時間働いていて、本当に夢中になっているのだと思います。基本的にAIの老人ホームで暮らすような世界で、満足できるでしょうか？
AGIが来た後、あなた個人は何をしますか？
AGIが来た後、私や人々が何をするのかという質問は、非常に難しい問題です。人々はどこに意味を見出すのでしょうか？でも、それはAIが私たちを助けてくれる可能性のあることだと思います。
私が想像するのは、AGIと関わることで、より悟りを開けるようになるということです。AGIは私たちが世界をより正しく見ることを助け、その結果として内面的により良くなれるでしょう。歴史上最高の瞑想の教師と話すようなものを想像してください。それは役立つことでしょう。
でも、世界が大きく変化するので、人々が正確に何が起きているのか、本当にどのように貢献できるのかを理解するのは非常に難しくなると思います。
一部の人々が選ぶかもしれないことの一つは、部分的にAIになることです。本当に心を拡張し、理解を深め、その時社会が直面する最も難しい問題を本当に解決できるようになるためです。
あなたは部分的にAIになりますか？
それは非常に魅力的ですね。
3000年に物理的な人間は存在すると思いますか？
3000年？3000年に何が起こるか、私にどうして分かるでしょうか？
どんな感じでしょう？地球上をまだ人間が歩き回っているのでしょうか？あるいは、あなた方はこの世界がどのような姿になってほしいか具体的に考えていますか？
その質問の何が正しくないか説明させてください。それは私たちが世界がどのように見えてほしいかを決められることを示唆しています。
私はその図式が正しいとは思いません。変化だけが常に存在するものです。そして当然、AGIが構築された後でも、世界は静的になるわけではありません。世界は変化し続け、進化し続けます。様々な変容を経ていくでしょう。
3000年に世界がどのように見えているか、誰も想像がつかないと思います。でも、人間の子孫たちが、望むことを自由にできる幸せで充実した生活を送り、自分たちの問題を自分たちで解決している、そういう世界であってほしいと願います。
私が非常につまらないと感じる世界は、この強力なツールを作って、そして政府が「AGIが社会はこのように運営されるべきだと言ったので、今からそのように社会を運営しましょう」と言うような世界です。
むしろ、人々が自分の間違いを犯し、その結果に苦しみ、徐々に道徳的に進化し、自分たちで前進していける世界がいいですね。AGIは基本的な安全網のような役割を果たすだけです。
こういったことを考えるのにどのくらいの時間を使っていますか？研究だけでなく。
かなりそういうことについて考えています。非常に興味深い質問ですから。
今日持っている能力は、2015年に期待していた水準と比べて、どういう点で上回り、どういう点でまだ達していないのでしょうか？
正直なところ、2015年に期待していた通りです。2015年、私の考えはもっとシンプルでした。ディープラーニングに賭けることを躊躇したくありませんでした。できる限り大きくディープラーニングに賭けたかったのです。どうやってかは分かりませんでしたが、それが道を見つけ出すだろうと。
でも、期待以上だった具体的な部分や、期待に達していない具体的な部分はありますか？2015年の具体的な予測で外れたものは？
残念ながら、2015年に私が行った具体的な予測は覚えていません。でも、2015年には確かにディープラーニングに可能な限り大きく賭けたいと思っていましたが、具体的にはどうなるか分かりませんでした。7年でどこまで行けるか、具体的なアイデアは持っていませんでした。
まあ、2015年に、2016年か2017年頃に物事が本当に進むだろうという賭けをいくつかしました。でも具体的には...そうですね、それは驚きでもあり、積極的な予測もしていましたが、内心では多分50%くらいしか信じていなかったのかもしれません。
OpenAIの多くの人でさえ突飛だと思うような、あなたが今信じていることは何ですか？
OpenAIでは多くのコミュニケーションを取っているので、私が何を考えているかについて、人々はかなり良く理解しています。OpenAIでは、これらの問題について同じ考えを持つようになってきています。
Googleは独自のTPUハードウェアを持ち、全てのユーザーのデータ、Gmail等からのデータを持っています。より大きな、より良いモデルを訓練する上で、これは彼らにアドバンテージを与えているのでしょうか？
最初、TPUが出た時は本当に感銘を受けて、「すごい、これは素晴らしい」と思いました。でも、それは当時ハードウェアについてよく理解していなかったからです。
実際に明らかになったのは、TPUとGPUはほぼ同じものだということです。非常に、非常に似ています。GPUチップは少し大きく、TPUチップは少し小さく、多分少し安いです。でも、より多くのGPUとTPUを作るので、結局GPUの方が安いかもしれません。
でも基本的に、大きなプロセッサと多くのメモリがあり、その間にボトルネックがあります。TPUとGPUの両方が解決しようとしている問題は、メモリからプロセッサに1つの浮動小数点を移動する時間の間に、プロセッサで数百の浮動小数点演算ができるということです。これは何らかのバッチ処理が必要だということを意味します。
この意味で、両方のアーキテクチャは同じです。なので、ハードウェアについて本当に重要なのは、フロップあたりのコストとシステム全体のコストだけだと本当に感じています。
そんなに違いはないのですか？
実際のところ、分かりません。TPUのコストは分かりませんが、数が少ないので、おそらくTPUの方が高いのではないかと思います。
あなたが仕事をする時、適切な初期化の設定や、訓練がうまくいくようにすること、適切なハイパーパラメータを得ることにどのくらいの時間を使い、全く新しいアイデアを考えることにはどのくらいの時間を使っていますか？
組み合わせだと言えるでしょう。全く新しいアイデアを考えることは、仕事の控えめな部分です。確かに新しいアイデアを考えることは重要ですが、もっと重要なのは結果を理解すること、既存のアイデアを理解すること、何が起きているのかを理解することです。
ニューラルネットは非常に複雑なシステムです。実行すると、理解するのが難しい振る舞いが得られます。何が起きているのでしょうか？結果を理解し、次にどの実験を行うか決めることに、多くの時間が使われます。
何が間違っている可能性があるのか、予期しない結果を生み出した原因は何かを理解することです。新しいアイデアを考えることにも多くの時間を使っています。でも、この枠組みはあまり好きではありません。間違っているわけではありませんが、主な活動は実際には理解することなのです。
二つの違いをどのように捉えていますか？
少なくとも私の心の中では、新しいアイデアを考えると言うと、「ああ、これとこれをしたらどうなるだろう？」というような感じです。一方、理解するというのは「これ全体は何なのか？本当の根底にある現象は何なのか？根底にある効果は何なのか？」ということです。
なぜ私たちはこのやり方でやっていて、別のやり方ではないのか？もちろん、これはアイデアを考えることと非常に隣接していますが、理解する部分が本当のアクションが起きる場所なのです。
それはあなたのキャリア全体を表していますか？ImageNetのような成果を振り返ると、それは新しいアイデアだったのか、それとも理解だったのでしょうか？
それは間違いなく理解でした。非常に古いものについての新しい理解でした。
Azureでの訓練の経験はどうですか？
素晴らしいです。Microsoftは私たちにとって本当に良いパートナーです。彼らはAzureを本当にMLに適した状態に持っていくことを助けてくれました。私たちは本当に満足しています。
台湾で何か起こった場合、AI生態系全体はどの程度脆弱なのでしょうか？例えば台湾で津波が起きた場合、AI全般にはどのような影響がありますか？
間違いなく大きな後退になるでしょう。数年間、誰も新しいコンピューティング能力を手に入れられなくなります。でもコンピューティングは出現してくるはずです。例えば、Intelは数世代前のファブを持っていると思います。つまり、Intelが望めば、4年前のGPUのようなものを生産できるということです。
でも、はい、それは最高ではありません。実際、Intelについての私の発言が正しいかどうか確信が持てませんが、台湾以外にもファブがあることは知っています。ただ、それらは同じように良くはありません。でもそれらを使うことはでき、それらでもかなり先まで行けます。それはただコストの問題であり、後退でしかありません。
これらのモデルが大きくなるにつれて、推論のコストが法外になることはありませんか？
この質問については異なる見方をしています。推論が法外なコストになるわけではありません。より良いモデルの推論は確かにより高価になるでしょう。でも、それは法外なのでしょうか？それはどれだけ有用かによります。コストよりも有用であれば、法外ではありません。
アナロジーを挙げると、弁護士と話したいとします。何かケースがあったり、アドバイスが必要だったりする場合、時間当たり400ドルを払うことを全く厭いません。そうですよね？なので、もしあなたのニューラルネットが本当に信頼できる法的アドバイスを提供できるなら、そのアドバイスに400ドル払うことを厭わないでしょう。そうすると突然、推論は全く法外ではなくなります。問題は、このコストでニューラルネットが十分に良い答えを出せるかということです。
そうですね。そして、異なるモデルで価格差別化をするのですね？
今日すでにそうなっています。私たちの製品では、APIは異なるサイズの複数のニューラルネットを提供しており、異なる顧客が使用ケースに応じて異なるサイズのニューラルネットを使用しています。
小さなモデルを取って微調整し、満足のいくものを得られる人はそれを使うでしょう。でも、より複雑で興味深いことをしたい人は、最大のモデルを使うでしょう。
これらのモデルが単なるコモディティになるのを、つまり異なる企業がGPUの実行コストまで価格を下げ合うのを、どのように防ぐのですか？
そうなろうとする力が間違いなくあります。答えは、進歩し続けなければならないということです。モデルを改善し続け、新しいアイデアを考え続け、モデルをより良く、より信頼性が高く、より信頼できるものにして、その答えを信頼できるようにしなければなりません。そういったこと全てです。
でも、2025年になって、誰かが2024年のモデルをコストで提供したとしましょう。それでもかなり良いものだとして。たとえあなたがそれがありそうもないと思っても、なぜ人々は、たった1年古いものでもより良いのに、2025年の新しいものを使うのでしょうか？
そこにはいくつかの答えがあります。一部の使用ケースではそれが当てはまるかもしれません。2025年には新しいモデルがあり、それがより興味深い使用ケースを推進することになるでしょう。また、推論コストの問題もあります。同じモデルをより少ないコストで提供する研究ができれば。
同じモデルでも、異なる企業で提供コストが異なります。また、ある程度の専門化も想像できます。一部の企業がある分野に特化しようとして、他の企業と比べてその分野で強くなる可能性があります。それがコモディティ化への一つの応答になるかもしれません。
時間とともに、これらの異なる企業の研究の方向性は収束するのでしょうか、それとも分岐するのでしょうか？時間とともにより似たようなことをしているのでしょうか、それとも異なる分野に分かれていくのでしょうか？
近い将来は収束しているように見えると思います。収束-分岐-収束という振る舞いになると予想しています。近い将来の仕事では多くの収束があり、より長期的な仕事では一定の分岐があるでしょう。でも、その長期的な仕事が実を結び始めると、再び収束があるでしょう。
なるほど。一つが最も有望な領域を見つけると、みんなが...
そうです。明らかに今は論文の発表が少ないので、この有望な方向が再発見されるまでには時間がかかるでしょう。でもそういう風になると想像しています。収束、分岐、収束。
はい。これは最初にも少し話しましたが、外国政府がこれらのモデルがどれだけ有能かを学ぶにつれて、スパイや、あなたの重みを入手しようとする何らかの攻撃、あるいはこれらのモデルを悪用して学ぼうとすることを心配していますか？
はい、それは絶対に無視できません。できる限り防御しようとしていることですが、これを構築している全ての人にとっての問題になるでしょう。
重みが漏洩するのをどのように防いでいますか？
本当に優秀なセキュリティの人々がいます。
重みを持つマシンにSSHできる人は何人いますか？
セキュリティの人々は本当に良い仕事をしているので、重みが漏洩することは本当に心配していません。
このスケールのモデルからどのような創発的な性質を期待していますか？何か全く新しいものが出現するのでしょうか？
本当に新しい驚くべき性質が出現すると確信していますし、驚かないでしょう。私が本当に期待していること、見たいと思っているのは、信頼性と制御可能性です。
これは非常に、非常に重要な創発的性質のクラスになると思います。信頼性と制御可能性があれば、多くの問題を解決するのに役立ちます。信頼性はモデルの出力を信頼できることを意味し、制御可能性は制御できることを意味します。見てみないと分かりませんが、これらの創発的性質が存在したら本当に素晴らしいでしょう。
それを事前に予測する方法はありますか？このパラメータ数では何が起こり、あのパラメータ数では何が起こるというように？
特定の能力について、ある程度の予測を行うことは可能だと思います。ただし、それは間違いなく単純ではありませんし、少なくとも今日では、超細かい方法ではできません。でも、それがより良くできるようになることは本当に重要です。興味があって、それについての研究アイデアを持っている人がいれば、それは価値のある貢献になり得ます。
これらのスケーリング則をどの程度真剣に受け止めていますか？全ての推論を引き出すにはこれだけの桁数が必要だと言う論文がありますが、それを真剣に受け止めていますか？それともある時点で破綻すると思いますか？
問題は、スケーリング則が次の単語予測の精度の対数に何が起こるかを教えてくれるということです。次の単語予測の精度を推論能力に結びつけることは、全く別の課題です。私はつながりがあると信じていますが、このつながりは複雑です。
そして、単位努力あたりより多くの推論を得られる他の方法を見つける可能性があります。あなたは推論トークンについて言及しましたが、それらは役立つと思います。
他にも役立つものがあるかもしれません。
トークンを生成するために人間を雇うことは検討していますか？それとも、全て既に存在するものから来るのでしょうか？
私たちのモデルに物事を教える人々に頼ること、特に、モデルが適切に振る舞い、虚偽のことを生成しないようにすることを確実にするために、それは非常に賢明なことだと思います。
データが必要な時にちょうどトランスフォーマーがあり、ちょうどこれらのGPUがあるというのは奇妙ではないですか？これら全てのことが同時に起こったということは奇妙だと思いませんか？それともそういう見方はしていませんか？
確かに興味深い状況ですね。奇妙でもあり、ある面では奇妙でもないと言えます。なぜ奇妙でないかというと、データが存在し、GPUが存在し、トランスフォーマーが存在する背後にある原動力は何なのでしょうか？
データが存在するのは、コンピュータがより良く、より安くなったからです。トランジスタがどんどん小さくなりました。そして突然、ある時点で、全ての人が個人用コンピュータを持つことが経済的に可能になりました。
全ての人がパーソナルコンピュータを持つと、それらをネットワークに接続したくなり、インターネットが生まれます。インターネットができると、突然大量のデータが出現し始めます。GPUは同時に改善されていきました。これはトランジスタがより小さくなり、それで何かをしようと探していたからです。
ゲームがそれを使えることが分かりました。そしてある時点で、Nvidiaは「ゲーム用GPUを汎用GPUコンピュータに変えよう、誰かが役立つと思うかもしれない」と言いました。ニューラルネットに適していることが分かりました。
GPUが5年後か10年後に登場した可能性もありました。ゲームがそれほど重要ではなかったとすれば。ゲームが重要でないとはどういうことか想像するのは難しいですが。
でも、GPUがデータの5年後か5年前に登場した反事実的な世界があったかもしれません。その場合、物事は今ほど準備ができていなかったかもしれません。でも、それが私が想像する図です。これら全ての次元での進歩は非常に密接に絡み合っています。それは偶然ではありません。どの次元で改善するかを選んで選べるわけではありません。
このような進歩はどの程度不可避なのでしょうか？あなたやジェフリー・ヒントン、そして他の数人の先駆者が生まれなかったとしたら、ディープラーニング革命は同じ時期に起こるのでしょうか？どれくらい遅れるのでしょうか？
多少の遅れはあったでしょう。1年くらいの遅れでしょうか？
本当に？それだけですか？
判断するのは本当に難しいです。より長い答えを躊躇するのは、GPUは改善し続けるからです。誰かが発見しなかったとは考えられません。
なぜなら、こういうことです。誰もやらなかったとしても、コンピュータは速く、より良くなり続けます。より大きなGPUができるので、ニューラルネットの訓練がより簡単になります。コードをそれほど最適化する必要がなくなります。
ImageNetデータセットが出た時は巨大で、使うのが非常に難しかったです。でも、数年待てば、ダウンロードが非常に簡単になり、人々は簡単に試せるようになります。最大でも控えめな数年だと思います。でも、より長い答えを出すのは躊躇します。世界をやり直すことはできませんから、分かりません。
アライメントに戻りましょう。これらのモデルを深く理解している人として、アライメントがどれくらい難しくなるかについて、あなたの直感はどうですか？
現在の能力レベルでは、それらをアラインする方法についてかなり良いアイデアのセットを持っています。でも、実際に私たちより賢いモデル、その意図を偽装できるモデルのアライメントの難しさを過小評価すべきではありません。多くの考察と研究が必要なことです。
学術研究者はよく、どこで最も意味のある貢献ができるかを私に尋ねます。アライメント研究は、学術研究者が非常に意味のある貢献をできる場所の一つです。
それ以外に、実際の能力について重要な洞察を学術界が生み出すと思いますか？それとも、この時点では企業だけになるのでしょうか？
企業が能力を実現するでしょう。学術研究がそういった洞察を生み出すことは十分可能です。何らかの理由で、それはあまり起こっていないように見えますが、学術界に何か根本的な問題があるとは思いません。
学術界にはできないということではありません。多分、正しい問題について考えていないだけかもしれません。なぜなら、これらの企業の中にいる方が、何をする必要があるかが分かりやすいのかもしれません。
なるほど。でも、誰かが気付く可能性はありますよね...
絶対にそう思います。なぜそれを否定する可能性があるでしょうか？
これらの言語モデルが実際にビットの世界だけでなく、原子の世界に影響を与え始める具体的なステップは何でしょうか？
ビットの世界と原子の世界の間にはっきりとした区別があるとは思いません。ニューラルネットが「ねえ、これをすべきだよ、そうすれば人生が良くなるよ。でもアパートを特定の方法で整理する必要があるよ」と言って、その結果としてアパートを整理するとします。ニューラルネットは原子の世界に影響を与えたことになります。
なるほど。超人的なAIに到達するまでに、トランスフォーマーと同じくらい重要なブレークスルーがさらに数回必要だと思いますか？それとも、基本的な洞察は本にどこかにあって、それを実装して接続するだけでいいと思いますか？
その二つのケースにそれほど大きな違いがあるとは思いません。説明させてください。過去に進歩が起こった方法の一つは、何かが望ましい性質を持っていたことを理解したけれど、それに気付いていなかったということです。
それはブレークスルーですか？そうだと言えます。本にあることの実装ですか？それもそうです。私が感じているのは、そういうことがいくつか起こる可能性が高いということです。でも振り返ってみれば、ブレークスルーとは感じないでしょう。
誰もが「ああ、もちろん。こういうことがうまくいくのは全く明らか」と言うでしょう。トランスフォーマーが特定の進歩として取り上げられる理由は、それがほとんど誰にとっても明らかではなかったタイプのものだからです。だから人々は、それが知っていたものではないと言えます。
ディープラーニングの最も基本的な進歩を考えてみましょう。バックプロパゲーションで訓練された大きなニューラルネットが多くのことをできるということです。新規性はどこにあるのでしょうか？ニューラルネットにはありません。バックプロパゲーションにもありません。
でも、それは間違いなく巨大な概念的なブレークスルーでした。なぜなら、長い間、人々はそれが見えなかったからです。でも今や全ての人が見えているので、皆が「もちろん、それは全く明らかだ。大きなニューラルネット。それができることは誰もが知っている」と言うでしょう。
あなたの元指導教員の新しいforward forwardアルゴリズムについて、どう思いますか？
それはバックプロパゲーションなしでニューラルネットワークを訓練しようとする試みだと思います。特に、脳がどのように結合を学習している可能性があるかを理解しようとする動機があれば、これは特に興味深いです。
その理由は、私の知る限り、神経科学者は脳がバックプロパゲーションを実装できないと本当に確信しているからです。なぜなら、シナプスの信号は一方向にしか移動しないからです。
そこで、神経科学的な動機があって、「バックプロパゲーションを使わずに、バックプロパゲーションの良い性質を近似しようとするにはどうすればいいか」と言いたい場合、それがforward forwardアルゴリズムがしようとしていることです。
でも、単に良いシステムを設計しようとしているなら、バックプロパゲーションを使わない理由はありません。
それが唯一のアルゴリズムです。
異なる文脈で、AGIが存在する既存の例として人間を使うというあなたの話を聞いたことがあります。研究の観点で、どの時点でそのメタファーを真剣に受け止めなくなり、それを追求する必要性を感じなくなるのでしょうか？それは存在の例として重要だからです。
人間を知能の存在例として気にしなくなるのはいつですか？
あるいは、モデルにおいて知能を追求する上で従いたい例としてですか？
人間からインスピレーションを得ること、脳からインスピレーションを得ることは良いことだと思います。人間と脳から正しくインスピレーションを得ることには芸術性があります。なぜなら、人間や脳の本質的でない性質に固執するのは非常に簡単だからです。
人間と脳からインスピレーションを得ようとする研究をしている多くの人々は、しばしば少し具体的になりすぎます。人々は少し「どの認知科学モデルに従うべきか」といったことに固執しすぎます。
同時に、ニューラルネットワーク自体のアイデア、人工ニューロンのアイデアを考えてみてください。これも脳からインスピレーションを得ていますが、非常に実り多いものであることが分かりました。
では、これはどのようにしてできるのでしょうか？人間のどのような振る舞いが本質的で、「これはそれが可能だということを証明している」と言えるのでしょうか？何が本質的なのでしょうか？これは実際にはより基本的な何かの創発的な現象で、私たちは自分たちの基本を正しく得ることに焦点を当てる必要があるだけなのでしょうか？
人間の知能からは注意深くインスピレーションを得ることができますし、そうすべきです。
最後の質問です。あなたの場合、ディープラーニング革命の先駆者であることと、今でも最高の研究者の一人であることの間に、なぜそれほど強い相関があるのでしょうか？この二つのことにはそれほど相関がないと思うのですが、なぜこの相関があるのでしょうか？
それらのことにはそれほど強い相関はないと思います。正直に言って、その質問に答えるのは難しいです。ただ本当に一生懸命努力し続けて、これまでのところ、それで十分だったということです。
つまり、それは忍耐ということですか？
それは必要条件ですが、十分条件ではありません。本当に何かを理解するためには、多くのことが一緒に起こる必要があります。本当に頑張る必要があり、物事を見る正しい方法も必要です。この質問に本当に意味のある答えを出すのは難しいです。
イリヤさん、本当に楽しかったです。ルナー・ソサエティーに来ていただき、ありがとうございます。オフィスまで案内していただき、感謝します。
ええ、私も本当に楽しかったです。ありがとうございました。

いいなと思ったら応援しよう！