グレッグ・ブロックマン | AGIのブレークスルー | 最近の進歩と人類にとっての意味

おはようございます。人工知能について話そうと思います。みんながそれが何なのか正確に知っているわけではないと思うので、グレッグ、あなたが技術の専門家なので、私たちに説明してくれませんか。
そうですね。今日の人工知能は、視覚のモジュールや音声のモジュールなど、個々の脳の領域の機能に近づいていると考えることができます。それに対して、人工汎用知能（AGI）はもっと強力なものになるでしょう。それは実際に一つの研究分野全体を理解し、複数の分野を理解し、それらの間で情報を統合し、新しい知識を発見し、人間と協力して私たちが解決策を持っていない地球規模の課題を解決することができるシステムになるでしょう。そして、それがまさにOpenAIの使命です。そこに到達するだけでなく、少数の人々だけでなく、人類全体に利益をもたらすことを確実にすることが重要なのです。
分かりました。そのために、最初に非営利組織を設立し、今年の初めに営利組織に切り替えましたが、最初のラウンドの投資家には収益に上限を設けました。なぜそうしたのですか。
はい、OpenAIを立ち上げた方法は、AGI（人工汎用知能）が全ての人に利益をもたらすというミッションを掲げ、最も明白な方法として非営利組織から始めました。しかし、進歩を始め、本当に最先端を目指し、AIに絶えず不可能なことをさせようとするにつれて、それが非常に高価な努力であることが分かりました。物理学で巨大な粒子加速器を建設する必要があるのと同じように、AIでは巨大なスーパーコンピューターを構築する必要があります。そのため、投資資本を調達する必要がありましたが、同時にミッションに忠実でありたいと考えました。
そこで、完全な営利でも非営利でもない構造を設計することになりました。投資資本を受け入れ、前例のない価値を創造することに成功した場合、投資家と株式を持つ従業員には固定の収益のみを支払い、残りは全ての人に利益をもたらすために非営利組織が所有する、というものです。
そうですね、その収益は100倍に上限が設定されています。最初のラウンドの投資についてはそうですね。ほぼ、進歩を重ねるにつれて、将来の投資家はより低い倍率で参加する意思があるといった具合です。
そうですね、100倍というのはかなりの額ですね。スタートアップ投資家にとっては、最初のラウンドとしてはそれほど大きくありません。
私たちは、シードラウンドのような良好なスタートアップ投資はどのようなものかを考え、そしてMicrosoftとの取引では、進歩をモデル化するためにより低い倍率を設定しました。しかし、私たちの目標は、投資家に良好なスタートアップ投資のような収益をもたらすことであり、前例のないほど良好なものではありません。
この営利モデルに移行したことで、研究の方法やビジネスの進め方が変わりましたか。
全く変わっていません。精神的には、私たちはまだ世界のために働いているという見方をしています。しかし、現実に即して対応する必要があり、私たちの仕事には非常に多くの資本が必要です。おそらく、これまでどの非営利組織も調達したことがないほどの資本が必要になるでしょう。そのため、これは現実を反映したものですが、私たちはミッションを維持しながら、成功するために必要な資本を得られる新しい構造を設計するのに1年近くの時間をかけました。
営利企業としても、まだ「世界のために働く」と言えるのですか。利益はどうなるのでしょうか。
私たちはLLCです。標準的なものではありません。従来の株主はいません。文書には、紫色の枠の中に非常に明確な言葉で、これは標準的な投資ではないと書かれています。必要に応じて、いつでも価値をゼロにすることができます。非常に投機的なものです。しかし、私たちが取り組んでいる技術は、もし成功すれば、非常に有望です。ミッションに成功すれば、投資家に素晴らしい収益をもたらし、同時に世界に前例のない価値をもたらすことは、特に難しいことではないでしょう。
しかし、そこには大きな「もし」がありますね。「もし成功すれば」という。AGIの実現、あるいは最初にAGIを実現する可能性をどのくらいに見ていますか。
典型的なスタートアップに成功の可能性を聞いても、これらの取り組みは確実だからではなく、重要だから始めるのです。単にユーザーを獲得するかもしれないソーシャルネットワークアプリを作るのではなく、技術的なチェックがまだ解決されていないのです。
そうですね、AGIは60年間にわたって議論されてきたものです。80年代や90年代には、すぐそこまで来ていると考えた人々もいました。今でもすぐそこまで来ているかもしれません。それを排除することはできません。しかし、重要なのは、AGIへの道のりで、単一のブレークスルーを達成するというわけではなく、ある時点で実現するというわけでもないということです。私たちは、ますます強力になる非常に価値のあるAI技術を生み出しています。
もし私たちが本当にミッションに成功し、話しているようなシステムを構築し、それを全ての人に利益をもたらすようにできれば、それは産業革命のようなものになるでしょう。もし失敗しても、世界に利益をもたらすことができる素晴らしいAI技術を作り出すことになります。成功するかもしれませんし、失敗するかもしれません。確かに、私たちの前には非常に困難な課題がありますが、先ほど2016年1月のことを思い出していました。
OpenAIはグレッグのアパートで始まりました。当時、私はほとんどY Combinatorで働いていましたが、数日間訪れました。8人ほどがキッチンテーブルを囲んで座っていました。今後3年間で何ができるようになるかについて話し合ったのを覚えています。そして、3年後に実際に可能になったことは、当時の予想をはるかに下回っていました。人間は指数曲線の見積もりが苦手なので、私たちはまだ次の3年間で達成することを過小評価しているのではないかと思います。
私たちは学習する技術を持っています。これは世界の素晴らしい秘密で、人間を特別にしているものです。そして私たちはそれをどうやって行うかを理解しました。それは月に行く方法を理解するようなものです。私たちはそれを前進させ続けることができ、毎年、専門家が難しいまたは不可能だと言うことを達成しています。そして、再帰的に定義すれば、それが続けば、非常に遠くまで行くことができるでしょう。
それがY Combinatorの後にOpenAIに行くことを決めた理由ですか。
はい、私の一般的な戦略は、最も重要なことが分からない場合は、多くのことに取り組み、ポートフォリオ戦略を取ることです。私はY Combinatorが大好きで、多くのことに取り組む素晴らしい方法でした。しかし、一度最も重要なことを特定したら、べき乗の法則を考えると、可能な限り懸命にそれに取り組むべきです。私たちが成功する期待値は、私が想像できる中で最も重要なことです。
OpenAIにとって理想的な結果は何ですか。
理想的な結果は、ミッションに成功することです。今、私たちが本当に試みているのは、AIに不可能なことをさせるという最先端にあり続けることです。それは、人工汎用知能になり得るシステムを構築するところまで続きます。そして、それは単にそのシステムを構築するだけではなく、実際にそれを地球規模の課題に適用することです。気候変動を考えてみてください。その問題には非常に多くの側面があり、超難しいです。技術的なアプローチや社会的・インセンティブの問題を考えると、人間と協力して、その問題にどう取り組むかを本当に理解するのに役立つツールがあれば、それこそが私たちが本当に達成したいことです。
まだ商業製品は作っていないのですね。今のところは研究だけですか。
はい、それは非常に意図的なものです。考え方としては、スタートアップを行う最良の方法の一つは、指数関数的な成長を見つけてそれに乗ることだと言われています。実は今、私たちはAIの進歩という狂ったような指数関数的な成長の上にいます。これらのモデルの基礎となる計算能力の量で見ることができますが、過去6〜7年間、ムーアの法則よりも約5倍速く増加しています。これは前例のない量です。
人々はそれを直感的に理解できません。そうですね、直感が全く通用しません。一つの考え方としては、携帯電話のバッテリーが1日しか持たなかったとして、5年後に目覚めると800年持つようになり、さらに5年待つと1億年持つようになるようなものです。これが私たちが見ている計算能力の進歩の種類です。
私たちにとって最も重要なのは、常にその最先端にいることです。
つまり、現在の技術水準に自分をロックインすることは基本的に時間の無駄だと言っているのですね。
そうですね、無駄ではありません。多くの良いアプリケーションがあると思います。実際、このMicrosoftとの契約の良い点の一つは、単なる投資だけでなく、パートナーシップでもあるということです。私たちが技術のライセンスを選択した場合、彼らは実際にそれを商業化し、Microsoft製品に組み込むことに非常に興奮しています。これは、研究資金を継続的に確保しながら、これらのブレークスルーを実際に世界に出す一つの方法です。
Microsoftとの契約について少し話しましょう。Microsoftから10億ドルを受け取りましたね。実際にそれが何を意味するのかについて、少し混乱があったと思います。この10億ドルについて説明してもらえますか。単なるAzureのクレジットではないですよね。
いいえ、現金です。Azureに多くを費やしますが、現金です。
そうですね。では、Microsoftは何を得るのでしょうか。
まず、これは投資なので、彼らは今、その商品の一部を保有しています。次に、このパートナーシップがあります。私たちは全てのものをAzureで実行します。そして、これらの巨大なスーパーコンピューターを構築し、AI技術を前進させるために協力しています。世界中のAzureユーザーは、AIの開発のためにそのプラットフォームがどんどん良くなっていくのを目にするでしょう。
そうですね。Microsoftが私たちと協力して、これらのモデルを訓練するための素晴らしいスーパーコンピューターを構築できれば、それは明らかに私たちにとって利益になります。私たちは本当にそれを必要としており、Microsoftはそれを構築するための素晴らしいパートナーです。しかし、最終的にはそれが全てのAzureの顧客に利益をもたらすはずです。
なぜAzureに自分をロックインするのですか。
ロジスティック的に、一つのプラットフォームにいる方がはるかに簡単です。また、私たちのワークロードに適した特定のスーパーコンピューターが必要です。私たちは全てのプレイヤーと話をしました。これは本当に良いスタートを切っており、既に良い結果が出ています。歴史的な文脈として、OpenAIは実際に全ての主要なクラウドと自社の物理的なハードウェアを使用してきました。そのため、利用可能な全てのものを見てきました。
全てのプレイヤーと話をしたとおっしゃいましたが、Googleから同じ契約を受け入れたでしょうか。
Microsoftが特に良いのは、私たちとミッションが一致している度合いです。今後数年間で資本面で本当にスケールアップできるパートナー、私たち が必要とする計算インフラを構築する能力を持ち、ミッションに関して私たちと非常に一致したビジョンを持つパートナーを見つけるのは難しいです。私たちはMicrosoftを見つけることができて非常に満足しています。
投資家にとって、このミッションの一致がどれほど重要かを強調しすぎることはできません。先ほど述べたように、私たちは非常に特殊な構造と非常に特殊なミッションを持っています。投資家よりも世界に奉仕する必要があるかもしれないという考えは、ほとんどの投資家が受け入れたがらないものです。しかし、Microsoftの信用に値するのは、これが実際に彼らの企業ミッションと非常に一致しているということです。Microsoftの全体的なミッションも、人類のためにAIを構築することだからです。
そうですね、Microsoftの全体的なミッションは実際には、言葉通りではないかもしれませんが、全ての組織と個人がより多くを達成できるようにすることです。そして、会社のトップにいる実際の個人は、人工知能と汎用知能が全ての人に利益をもたらす方法で実現されるようにするというこのミッションに非常に一致しています。サティア・ナデラも同じ言葉を使っているのを聞いたことがあります。
その通りです。サティアは本当に、AIが今後10年間でMicrosoftにとって最も重要なトレンドになると考えています。そして、彼は私たちと同じように、その利益をどのように分配するかについて考えています。
さて、モデルを実行し構築するのにどれだけのお金がかかるかについて話しましたが、今はお金を手に入れました。今、あなたたちが構築しているものについて少し話しましょう。最近いくつかの結果を発表しましたね。先週だと思いますが、マルチエージェントモデルを示しました。その作業のビデオを画面に出すことができますか。
はい、1〜2週間前のことです。私たちは、かくれんぼをするようにAIを訓練しました。彼らが学んだのは、戦略と対抗戦略の連鎖です。そのビデオを何回か繰り返し再生できますか、ちょうど消えてしまったので。
最初、彼らは部屋に隠れて、そこにいくつかの箱を置くことを学びました。そして、探す側が壁を飛び越えるためにランプを使えることを学びました。最終的に、彼らはどんどん上手になり、物理法則を破ることを発見しました。
ここで実際に見ているのは、探す側の一人が、シミュレーションの物理法則を破ることができることを発見し、究極の追いかけっこをするために、小さな青い隠れる側がコーナーに隠れているところにたどり着くことができるということです。
これらの従来にない戦略について、私たちが知らなかったものがもう一つあります。2つ目のビデオがあるはずで、それを出せればと思います。
そこでは、探す側が「自分を箱の中に入れることができる」ということを学び、隠れる側は「自分を箱の中に閉じ込めることができる」ということを学びました。探す側は「この世界の物理法則を利用して、この箱の上に乗り、シェルターの中にサーフィンして入ることができる」ということを学びました。
これについて本当に興奮しているのは、私たちがこの開かれた世界を持っていて、そこで非常に進化的なプロセスが起こっているということです。進化が私たちを賢くしたことは知っていますが、長い間人々が持っていた疑問は、それを使ってAIを賢くすることができるかどうかでした。これは実際に、人間が想像もしなかった戦略や物理法則を利用する方法を発見できることを示しています。
これは実際に、なぜ私たちがこれらのシステムを構築したいのかを本当に示しています。私たちは本当に知能を押し進め、世界をより開かれたものにし、これらのものができることの多様性を増やしたいのです。そして、私たちが知らなかったことを発見することができるのです。
そうですね。非常に単純な環境でも、エージェントが互いに出し抜こうとするだけで、信じられないほど複雑な行動が生まれる可能性があります。人間のことを考えてみると、進化が私たちにこのような巨大でエネルギー効率の悪い脳を与えたのは、ライオンから逃げたり、アンテロープを追いかけたりするためではありません。私たちはお互いに対処するためにそれを持っているのです。
同様に、その環境の複雑さの大部分は、エージェントが互いに対処し、相互作用し、協力しなければならないことから来ています。これは実際に、知能への道筋について私に多くの楽観主義を与えます。私たちが今示したものを想像してみてください。モデルがどんどん賢くなるにつれて、年間10倍の改善という指数関数的な進歩の上に、私たち自身が持っていなかった、新しい知識の発見につながる非常に複雑な行動が生まれる可能性があります。
彼らは基本的にセットアップの不具合を利用しているのですね。そしてそれを行う方法を見つけ出したのですね。それは良いことですか。
そうですね、実際に興味深いことだと思います。究極的に私たちが欲しいのは、私たちが解決できない問題を解決するために私たちと協力できるAIです。そもそもなぜツールが欲しいのかというと、人間ができることを拡張するためです。そこには本当に約束があると思いますが、同時に、これらのシステムが社会に入ってくるにつれて、本当に考えなければならないことも示しています。
例えば、自動運転車が何か狂った戦略を取って、悪い外部性を引き起こすようなことは望みません。そのため、私たちが取り組んでいるのは単に能力だけではなく、安全性も重要です。これらのシステムが実際に人間の望むことを行い、私たちの価値観に沿うようにする方法を見つけ出すことも重要です。それが本当に重要なのです。
システムに私たちが望むことをさせる、私たちが言おうとしていることではなく、それがますます重要になるでしょう。興味深いですね。実際、私はこの問題が解決不可能だと考えている人々が多くいると思います。人類の報酬関数をどのように書き下すのか、あなたが望むことをどのように書き下すのか、それをどのように学習させるのでしょうか。
これが本当に重要な洞察だと思います。私たちはすでに、人間が指定できないこれらの問題や解決策を非常によく学習できる技術を持っています。そして、私たちは人間が望むことについても全く同じことをしようとしています。
some people would be nervous about that
そうですね、もう少し詳しく教えてください。これらのモデルを訓練する際には良い意図を持っているかもしれませんが、誰かが報酬モデルが非常に異なると言うかもしれません。
これは実際に、私たちがこれまで話してきた全ての技術的な問題、資本の問題、これらのコンピューターをどのように構築するかという問題の中で、最も重要な問題だと思います。本当にこれらの超強力なシステムを構築することに成功したとして、そこにどのような価値観が含まれているのか、誰の価値観なのかという問題です。
人類として、私たちは世界的な価値システムに合意することが非常に苦手です。これもまた非常に重要な課題だと思います。実際、OpenAIにはこのことだけを考える政策チームがあります。
その結果は何かありますか。どのようにアプローチしていますか。
人類の大部分が価値観として合意しているものがいくつかあり、そして世界の哲学にはいくつかの大きなスペクトルがあります。個人主義対集産主義が一つの大きなものかもしれません。
高度なAIの展開がどのようになるかについて、今から世界的な議論のプロセスをどのように始めるかについてですが、私たちの結果が加速したことを考えると、本当にそれに注目し始めました。今年初めて、少し時期尚早に聞こえるかもしれませんが、早すぎるよりは少し遅すぎる方がましだと考えて、チームをこの問題に取り組ませました。
しかし、最終的には、まずはグローバルな議論から始まると思います。これはまだ本当に始まっていません。人々がこれを真剣に受け止め始めるにつれて、非技術的な世界がこれを真剣に受け止め始めるにつれて、最初の段階は、私たちがその先にどのような世界を望むかについての議論だと思います。
そうですね、そして一つの本当に重要な部分は、これはシリコンバレーの問題だけではないということです。これまでシリコンバレーは自分たちを孤立させ始めていると思います。それが多くの問題を引き起こしていると思います。そして、これまでで最も強力な技術のために、私たちは本当にグローバルな関与を得る必要があります。
部分的に私が尋ねているのは、最近GPT-2という別の結果を出したからです。これは、基本的に学部生が英語の授業で受け取るようなプロンプトに基づいてテキストを生成できるモデルです。モデルが良すぎると考えて、一部の結果を差し控え、段階的に公開することを決めました。
そうですね、これは私たちが到達すると思っていた時期から5年も早い結果です。インターネット上のテキストを見るだけで訓練したこのモデルを生成しました。例えば、「なぜリサイクルが世界にとって悪いのか」についてのエッセイを書くように頼むと、「なぜそもそもこれほど多くの廃棄物を生み出しているのか、リサイクルは単に症状を隠しているだけだ」という素晴らしい議論を展開しました。
私たちはこのようなものを見たことがありませんでした。開かれた目で見た人は皆、その含意が全く明白だと思いましたが、正確にどのような含意なのかについては意見が一致しませんでした。ある人々はそれが完全に無害で、人々がそれを使って本を生成したりするだろうと考えました。他の人々は、例えば前例のない規模で偽のニュースを生成するなど、悪意のある目的に使用される可能性があると考えました。
この会社を立ち上げてAGIを全ての人に利益をもたらそうとしたとき、全てを公開しないことがその一部になることを常に知っていました。その日が来ることを知っていました。1年早すぎるよりも1年遅すぎる方が重要だと知っていました。私たちは1年早すぎたかもしれませんが、全てを一度に公開するのではなく、より大きなバージョンを段階的にリリースすることを決めました。
なぜ段階的なリリースなのですか。ある人々はあなたたちを非難して、これは単なる宣伝スタントだ、自分たちがとても優秀で、すでに危険なものを作ったので見せられないと示したいだけだと言いました。しかし、なぜこの段階的な方法を取ったのですか。
私たちはそれが危険だとは言っていません。危険かもしれないと言いました。私たちは確信が持てないと言いました。そして、これは最低でも良い練習走行の時期だ、あるいは実際に誰かがそれを悪用するかもしれないと言いました。確かに、私たちがそれが危険すぎると言ったと報道されましたが、私たちは決してそうは言っていません。
フェイクニュースですね。AIがそれを書いたのですね。
そうです。私たちが言ったのは、出版の規範は議論に値するということです。そして、それは非常に強く支持されると思います。
そうですね、そしてそれは機能したと思います。今、私たちは業界のワーキンググループがこれらの問題について考えている段階にあります。様々な人々がモデルを複製しましたが、同時に公開を控えています。なぜなら、ある程度、GPT-2そのものが問題なのではなく、スケーリングが問題だからです。
GPT-2が危険になるか、悪用される可能性があるということですね。
そうです。だから、規範を整えることがとても重要だと思います。実際、私たちが多くの怒りや嘲笑、人々が私たちに向けたかったどんな感情も受けたことに少し喜んでいます。面白いことに、多くのサポートもありました。私がそのリサイクルの件についてツイートしたとき、誰かがそれに返信して多くのいいねを得ました。「これらの人々がこれを真剰に受け止めていないなんて信じられない。なぜこれが面白いと思うのか」と言っていました。私はそれを見て、「まさにそれが私たちがこれを真剣に受け止めている理由だ」と思いました。
完全なモデルはいつ公開する予定ですか。世界に示すのはいつですか。
私の予想では、もし全てが順調に進み、何も狂ったことが起こらなければ、今後数ヶ月以内だと思います。私たちのスケジュールの履歴を見ると、基本的に次のバージョンをリリースし、データを取得し、人々がどのように使用しているかを確認し、そこから進めています。
内部的にはすでにGPT-1を持っていて、まだ公開していないのですね。
未発表のプロジェクトについてはコメントしません。3、4、そういったものですね。
これらの作業、マルチエージェントやGPTなど、まだAGIの領域には入っていませんね。この作業がどのようにしてそこに到達するのでしょうか。
私たちが進歩について考える方法は、通常科学で進歩について考える方法とは少し異なります。通常、科学では、アイデアについて考えます。この現象を説明するこの理論を思いつき、全てを単純化し、次の理論を立てることができ、最終的に望むアプリケーションに到達する、といった具合です。
私たちがAIについて考える方法は、むしろスタートアップの考え方に近いです。能力について考えます。この超難しい課題を解決できるか、そしてそうすることで、他の場所で再利用できる汎用的な方法を生み出すことができると考えています。
例えば、複雑なビデオゲームDota 2で世界チャンピオンを打ち負かしたシステムを構築しました。そして、まさにその同じトレーニングシステムをロボティクスに向け、誰も解決できなかったこのロボットハンドの問題を解決しました。
私はこのように考えています。確かに、私たちが生成する全てのものにはまだ限界がありますが、どういうわけか、それらはより強力になり、私たちが可能だと思っていた時期より何年も早く物事を行うことができるようになっています。そして、私たちがその傾向に乗っている限り、成功していると思います。
現在の方法をより良くするだけで十分だと思いますか、それとも、ある時点で全く新しい技術が必要になると思いますか。
それを知る方法は一つしかないと思います。実際、DOTAに関する私たちの希望は、現在の方法が壁にぶつかることでした。全てをスケールアップし、可能な限り押し進めても、単にうまくいかないだろうと。そして、それが現在のAIにおける未解決の課題だと思います。既存の全ての方法を押し進めても解決できない本当のタスクを見つけようとしています。何かに失敗して初めて、次に何をすべきかが分かるのです。
しかし、能力を見てみると、DOTAやマルチエージェント、ロボットなど、目標とシミュレータがあれば解決できます。そして、GPT-2のような大量の情報があれば理解することができます。これらは知能に向けたかなり強力な能力です。
そうですね。GPT-2に面白いことがあります。GPT-2は数学が苦手なのです。数字を足すように頼むと、ただ適当なことを言い始めます。なぜなら、与えたデータには数学に関することが全く含まれていないからです。
その通りです。もしかしたら、数学に関するデータを与えれば機能するかもしれません。しかし、推論が欠けているのかもしれません。それは存在しないものかもしれません。そして、現在のところ、私たちはその答えを本当に知りません。それが私たちが本当に発見しようとしていることの一つです。
現時点で本を書くことはできますか。
はい、できます。締めくくりに良いかもしれません。この本を持ってきました。これは人間が書いたものではありません。これはGPT-2が書いたもので、イラストは人間が描いたものです。
カメラにうまく映すことができるか分かりませんが、見てみると、このRPGゲームのためのたくさんの素晴らしいゲームメカニクスがあります。様々なエルフやその他のものについての素晴らしいリストがたくさんあります。
これは、なぜこれらの技術が今日素晴らしいのかを示しています。実際に、人間だけでは作れないようなものや創造的なものを作るために、これらと協力することができるのです。
AIはちょっとオタクだということですね。
次は何ですか。次に期待される大きな一歩は何ですか。
ラインを継続することです。推論は、誰も見たことがない技術の良い例だと思います。GPT-2は、私たちが実際に話すことができ、私たちを理解できる機械を持つ寸前にいますが、まだそこには到達していません。私たちや、この分野の他の人々が、そこに到達しようとしている作業があると思います。
分かりました。あなたの移動について満足していますか。
はい。
インタビューについても満足しています。ありがとうございます。
ありがとうございました。