サム・アルトマン衝撃。The Vergeが「GPT-5の詳細を早期リーク」

9,010 文字

The Vergeが大きなニュースを報じましたわ。OpenAIが12月までに次の大型AIモデルをリリースする計画があるそうです。Orionモデルが本命なんですけどね。OpenAIのような市場のリーダーによる今後数回のモデルリリースは、このマーケットの勢いがどれだけ持続するか、どれだけの期待が残るかを大きく左右するかもしれません。
もし進歩が鈍化してきたら、特に市場のリーダーであるOpenAIで、人々は物事が減速してきていると考えるかもしれません。でも、コーディングや自律的な研究で改善が続けば、例えば国際数学オリンピックで金メダルを取るようなことがあれば...ちなみにGoogleのモデルがかなり近づいていて、金メダルまであと1ポイントだったんですけど、それはAlphaモデルの一つ、たぶんAlpha GeometryとAlpha Proofやったと思います。大規模言語モデルが金メダルを取れたら、それは地球を揺るがすような breakthrough（革新）になると思いますわ。
The Vergeの記事は続きます。スタートアップの次期フラッグシップモデル（コードネーム：Orion）は、ChatGPTの2周年記念日あたりにリリースされる予定です。私の記憶に強く残っている日ですわ。2022年12月3日です。もちろん、ChatGPTは2022年11月30日、数日前にリリースされたんですけど、イーロン・マスクが「ChatGPTは恐ろしいほど優秀や。危険なほど強力なAIまでそう遠くない」と言うてたのを覚えています。
当時、私は「一体ChatGPTって何なんや？」って思うてました。振り返ってみると、これがこんなに大きな衝撃を与えるとは誰も知らなかったんです。ChatGPTは一種のツール、GPTアーキテクチャのプロトタイプみたいなもんでした。実際、それ以前にもGPT-3かなんかで動いていたツールを使っていました。
確かJeevesかJasperとかいう名前やったと思います。当時はOpenAIの技術を使っているとは知らなかったんですけど、文章を書く能力にはかなり感心していました。多くの人にとって、これはスターターピストルの号砲みたいなもんで、レースが始まったことを知らせる合図になったんです。多くの人々に、これから何が来るかを気付かせたんです。
もしこの記事が本当なら、大型モデルのOrionがChatGPTの2周年記念日あたりに登場するということは、もう目前に迫っているということです。AIの分野でのブレイキングニュースは、the information.comっていう媒体からよく出てきます。OpenAIやAI全般に関するリークやブレイキングニュースでは、かなりの精度で正確な情報を提供してきました。
正直言うて、ベイエリアで誰かがOpenAIとthe information.comから二重に給料もらってるんちゃうかなって勘ぐってしまいますわ。BloombergやBusiness Insiderなんかも、例えばかつてのQのリークなんかで素晴らしいスクープを報じてきました。今回はThe Vergeからの情報ですけど、ちょっと注意して受け止める必要があります。すぐに理由をお見せしますので、まずは彼らが発表している内容を見てみましょう。
ただし、ここにも裏工作があるかもしれませんよ。OpenAIは12月までにフロンティアモデルのOrionをローンチする計画やと、The Vergeは報じています。OpenAIの直近の2つのモデル、GPT-4と0.1のリリースとは違って、OrionはChatGPTを通じて広く公開されることはありません。代わりに、OpenAIは密接に協力している企業に最初にアクセスを許可し、彼らが独自の製品や機能を構築できるようにする予定やそうです。情報源は計画を知る関係者からの情報とのことです。
これは興味深いですわ。Orionについて最初に知り始めた時、まぁこれらは一部リークや推測なんですけど、他のモデルを訓練するためのモデルになるように設計された一つのモデルがあるように思えました。それは、より小さなモデルに入れるデータ、合成データ、AI生成データを生成する大きな賢いモデルでした。
Orionモデルに関する最初の動画で、まぁ複数のコードネームが使われていたので、どれがどれか確実ではなかったんですけど、基本的にはモデルの一つが他のモデルを作るというアイデアでした。「エイリアン」っていう映画をご覧になった方なら分かると思うんですけど、エイリアンの女王が自分の部屋に座って、外に出て活動するエイリアンのドローンを産むみたいなイメージです。
つまり、そのモデルはChatGPTを動かすモデルではないんです。質問に答えたり、コードを書いたり、一般ユーザーが使うような機能は持っていません。代わりに、より小さなモデルを訓練するためのデータを急速に作り出すんです。これがどのように行われるかについては、いくつかの研究を見てきました。
だからこれは私にとって理にかなっています。つまり、ChatGPTを動かしているような他のすべてのモデル、ChatGPTのドロップダウンメニューで選択できるモデルとは違って、このモデルはそうではないんです。このモデルは、企業が独自の製品や機能を構築できるように提供されるということです。これは彼ら独自のモデルを意味する可能性もありますね。
別の情報源によると、Microsoftは早ければ11月にもAzureサービス、つまりこれらAIモデルのためのクラウドサービスでOrionをホストする準備をしているそうです。OrionモデルはGPT-4の次世代モデルと見なされています。おそらく最初はGPT-5として言及されていたものでしょう。でもAIの世界では独自の命名規則があって、いつも私たちを混乱させるんです。
だから外部にリリースされる時には、たぶん別の名前が付けられるでしょう。最近、こんなニュースも出ました。「Microsoftは両者の関係が緊張する中、OpenAIの次のモデルに備える」。もし星が揃えば、年末までにOpenAIの次のOrion AIモデルが見られるはずです。星が揃えば...ブラボー、よく言った。Orionだけに、うまいこと言うてますわ。
サム・アルトマンはこのニュースを「フェイク」と呼びました。最近、サム・アルトマンはXでより活発に発言するようになっています。「未来が早く起こるんじゃなくて、過去が遅すぎたんや」って言うてます。私の考えは一枚の画像に集約されています。この画像は手元にあったんですけど、使う機会が巡ってきましたわ。
サム・アルトマンは記事の主張に対して反応しました。これはKylieが...記事を投稿したのはKylie Robinsonです。Kylieには気になることがあるそうで、RobinsonじゃなくてRobinsonって読んでほしいらしいです。Robinsonって読みましたか？たぶん見る人全員がRobinsonって読むと思います。
とにかく彼女が記事を投稿すると、すぐにコミュニティノートが付き、その直後にサム本人、偉大なるSamaが「フェイクニュースが制御不能や」と言いました。コメントは続きます。「おい、俺らの夜を台無しにしたやないか」とのコメントにサム・アルトマンは「心配せんでええ。素晴らしいものがたくさん来るから。ただメディアがでたらめを印刷するのを許せへんだけや」と返しています。
Jimmy Applesはサムに「説明があるまで忍耐の洞窟に戻るわ」と返し、サム・アルトマンは「お前とピカチュウや」と返しています。ちなみにそこでスレッドは終わっています。私は正直に質問したいんですけど、コメント欄で答えていただけたらと思います。AIの開発を見守り、このようなやり取りを見ていて...
つまり、ここにいるのは、例えばFortune Magazine、Business Insider、The Vergeのような、いわゆる旧来のレガシーメディアのジャーナリストです。大きな影響力を持ち、私たちの政治や考え、意見を形作ってきた、つい最近まで巨大な影響力を振るってきたメディアです。最近はその力関係が少し変化してきたかもしれません。
Kylie Robinsonが記事を投稿し、その投稿はすぐにコミュニティノートが付きました。Twitterを使っていない方のために説明すると、コミュニティノートは、例えば社交の場で何か言って、些細な間違いをした時に、誰かがすぐに「あのー、実は」と言って、とても詳しく、なぜあなたが間違っているのかを、明確な参考資料や例を挙げて説明し始めるような感じです。
そんな経験ありませんか？それとも、あなたの方が「あのー、実は」と言う側ですか？基本的にそれがコミュニティノートです。そして、メガビリオネアで異端の天才テクノロジスト、ちなみに多くの人が意見を分かれていて、このコミュニティで投稿したように、多くの人がサム・アルトマンを信用していません。
でも、この会話は基本的に投稿者、レガシーメディア、そしてこの会社を経営し、世界に登場するこの技術に大きな影響を与えていると言える億万長者のテック創業者・投資家、そして業界で誰も知らない情報へのアクセスを持っているとされる匿名のトロール的リーカー（これはたぶんサム・アルトマンの別アカウントではありません）との間で崩壊していきます。
この2つは別の存在です。この動画の早い段階でこんなクレイジーなウサギの穴に入り込むつもりはなかったんですけど...でも彼らはサムの「フェイクニュース」というコメントを記録しています。基本的に、その交換での発言、洞窟とピカチュウの部分ではなく、他の素晴らしい技術がリリースされるという部分についてです。
OrionはOpenAIの幹部によって、GPT-4の最大100倍の性能を持つ可能性があると示唆されています。これは少し誤解を招く可能性があります。というのも、たぶん彼らが言及しているのは、Microsoftのプレゼンテーションを覚えていれば、GPT-5は巨大で、GPT-4よりもはるかに大きくなるという考えです。
重要なのは、モデル自体が100倍大きくなるわけではないということです。その数字は、アルゴリズムの改善を考慮した場合の前のモデルとの相対的な比較です。例えば、1枚のNVIDIAカードで動いているものに、もう1枚のNVIDIAカードを追加すると、2倍と言えます。でもモデルの効率を改善して、効率が2倍になると、今度は4倍と言えるわけです。
その100倍というのはそういう意味です。彼らは、会社の目標は時間とともにLLMを組み合わせて、最終的にAGI（人工汎用知能）と呼ばれるかもしれない、さらに能力の高いモデルを作ることだと言っています。時間とともにLLMを組み合わせるという目標が何を意味するのかは分かりません。
確かに分散学習というアイデアは聞いたことがあります。OpenAIが異なる部分を訓練して、それらを組み合わせることができるという噂もありました。多くの人が、これらのモデルのいくつかを訓練するのに必要な電力量は...誰かが言っていましたけど、すべてのデータセンターを一箇所に置いたら、アメリカの電力網を落とせるくらいだと。
だからLLMを組み合わせるというのは、その分散学習のアイデアを指している可能性があります。続けて、以前報告されたように、OpenAIはStrawberry（コードネーム01）を使用していたと書かれています。これは大きな話題で、私を含めみんなが大騒ぎした理由は、それがQだったからです。アイデアとしては、StrawberryモデルがOrionを訓練するための合成データを提供するというものでした。彼らはthe informationの記事を参照しています。繰り返しになりますが、the informationは信頼できると思います。彼らは人脈があるようです。
だからこそ、情報源に注意する必要があるんです。真実が伝言ゲームのように伝わっていって、最後には真実とは似ても似つかないものになってしまう、そんなことは避けたいですからね。これはthe informationからの情報なので、AIについて、特にOpenAIについての報道に関して、私が信頼できる情報源だと考えているものです。
彼らが書いていることはすべて、私たちが確認できる限り、これまで聞いてきたすべての情報と一致しています。Qのリークにまで遡ります。つまりStrawberry、以前Qと呼ばれていたモデルですね。これを覚えておいてください。Q*とStrawberryは同じものです。
私の解釈では、今年のChatGPTバージョンのStrawberryがGPT-4とChatGPTのパフォーマンスを向上させるのに十分なものになるかどうかは不明確だと言っています。これは2024年8月27日の記事です。それが01モデルで、ChatGPTバージョンは元のStrawberryモデルの小型化・簡略化バージョンで、蒸留（distillation）として知られています。
より大きなモデルと同じレベルのパフォーマンスを維持しながら、運用がより簡単で低コストになることを目指しているそうです。そしてこのより大きなバージョンのStrawberryがOrionのためのデータ、合成データを生成するということです。ここで問題が出てきます。
The Vergeは「OpenAIの直近の2つのモデル、GPT-4と01」と言い、「以前報告されたように、OpenAIは01（コードネームStrawberry）を使用していた」と書いています。問題はここなんですけど、彼らを責めることもできません。OpenAIのシステムカードからのチャートがありますわ。
TPハングさんに感謝します。元のものを探すのが面倒だったので...これはこれらのモデルの数学的性能と推論コストを示しています。これらのモデルの大きなブレークスルー、少なくとも新しい特徴は、これまでモデルを改善する方法は、訓練中に改善する、訓練や微調整などを行うということでした。
例えばGPT-4.0、GPT-4.0 miniといった前世代のモデルがあります。私たちが質問をすると、彼らはすぐに答えを出さなければなりませんでした。少し時間をかけて考えることはできません。それが推論（inference）という意味です。推論とは予測のことです。これらのモデルがすることで、質問すると答えを予測します。
そして訓練時の計算量があります。訓練中にどれだけのリソースを与えるか、どれだけの計算量を与えるかということです。対して推論時の計算量は、質問に答えるため、答えについて考えるために、どれだけのリソースと時間を与えるかということです。
例えば、弁護士を雇うようなものです。「たくさんのお金を払うから、最高の結果が出るように、長い時間をかけてしっかり仕事をしてください」というような感じです。これらのモデルに質問をした時に、考えて作業させるためのコストです。
以前のモデルは決まった形で...ただ答えを出すだけでした。これらの01モデルが特別なのは、より多くの思考時間を与えることができる、つまりより多くのリソースを支払って考えさせることができるということです。
このドット線を見ると分かるように、推論コストが増加すると、結果も向上します。紛らわしいのは、私たちが全員使っているのは01ではないということです。私の言葉を信じる必要はありません。ChatGPTに行って、どんなモデルが使えるか見てください。01モデルはどこにもありません。
私たちが持っているのは01プレビューと01ミニです。みんなが01と呼んでいるものは01プレビュー、この紫色のものです。そして01、未公開の実際のモデル、実際のStrawberryモデル、これがAIMで最高得点を取ります。AIMはアメリカの基本的に高校生の中で最も優秀な生徒のための数学オリンピックのようなものです。
01は、質問の後により多くのリソース、より多くの計算量を与え、より長く考えさせることで、そういった問題を解く能力を大幅に向上させることができました。質問をして、考えさせて、少し時間をおいて答えを出させるような感じです。
これは8月のthe informationの同じ記事からのものです。これがリリースされる前です。彼らは「ChatGPTバージョンは元のStrawberryモデルの小型化・簡略化バージョンで、蒸留として知られています」と言っています。つまり、いわばStrawberry Lightということですね。別名01です。
まだ混乱していますか？これを言及する理由は、多くの人がこの小さな詳細を間違えているからです。興味深いことに、OpenAIの元テクニカルスタッフのウィリアム・サンダースでさえ...米国上院委員会での証言で、AGIの潜在的な問題、良い面と悪い面の脅威について語る中で、OpenAIについて話していた時、面白いことに、その証言で「OpenAIは新しいAIシステムGP01を発表した」と言っています。
みんながこれを間違えているという事実がどれほど重要かは分かりませんが、ちょっとおもしろいですね。それにOpenAIはなぜもっと分かりやすい名前を付けないんでしょうか。興味深いことに、彼らはサム・アルトマンの少し前のツイート、2024年9月13日のものを投稿しています。
「中西部の故郷に帰れて嬉しい。夜空がとても美しい。冬の星座が昇ってくるのが楽しみ。素晴らしいものばかりや」。これは多くの人によって、Orionが冬に来るという意味だと解釈されました。確かにこの記事の内容とは一致しますね。
でも、願わくばこれだけが彼らの情報源ではないことを願います。情報を知る情報源があると言っていますが、繰り返しになりますが、サム・アルトマンはこの特定の記事に対して「フェイクニュースが制御不能や」と言い、より具体的には「メディアがでたらめを印刷するのを許せへん」と言っています。
これはJimmy Applesが9月にStrawberryのリリースについて話していたものです。「来るべきより良いモデルの文脈でStrawberryを見てください」そして潜在的に早ければ12月にも登場する大物、GPT-5について。でも、あなたの正気のために、私たちが興奮で死なないように、2025年第1四半期か第2四半期と考えた方がいいでしょう。
これについてどう思いますか？Kylie Robinsonがフェイクニュースを広めていると思いますか？それともサム・アルトマンが陰謀を企てているのでしょうか？OrionモデルをChatGPTで見ることになるのでしょうか？それとも他のモデルを作るような他の用途のためのものなのでしょうか？12月に見ることになるのでしょうか？
いくつかの理由で、シミュレーションの中で生きているような気がします。まず第一に、私たちは知性を作り出し始めているように思えます。いつか自分たちのシミュレーションを作り出し、その中で小さなChatGPTたちが自分たちが本物だと確信して走り回る、そんなことも荒唐無稿ではないと思います。
第二に、シミュレーションが何のためにあるのか、今になって分かってきました。昔は分からなかったんです。科学実験か何かのためだと思っていました。今、NVIDIAなどの多くの企業がシミュレーションを構築しているのを見ると、それが信じられないほどのデータを提供することが分かります。
例えばロボットの訓練や、特定の社会的相互作用のシミュレーションなど、多くのことに使えるデータです。確かに科学ですが、特にデータを抽出できるということが重要で、データが本当に重要だということに気付き始めています。シミュレーションは、かつての石油時代の油田のようなものと見なすことができます。今はすべてデータに関することなんです。
第三に、このAI、AGIという信じられないほど強力で興味深い技術が世界に登場してきている時に、私たちはソーシャルメディアと透明性のピークにもいます。サム・アルトマンのような人々は、多くの人がニュースやイベントのために彼をフォローしているので、出版社が何かを印刷すると、彼は応答できます。
議論をし、やり取りを続けることができ、他の人々も参加して自分の意見を加えることができます。重要なのは、こうである必要はなかったということです。これほど面白い必要も、これほど透明である必要もなかったんです。
AIに、Transformerに、AIアーキテクチャがうまく機能するために「注意は全てが必要」なように、ここでも注意が必要、少なくとも非常に望ましいんです。物事が展開していくのを見守り、小さな「いいね」ボタンをクリックして決定を下す私たちにとって...ちなみに下の「いいね」ボタンをお願いします。とても感謝します。
様々なニュース記事やTwitterの投稿の前でカメラに映るように、このグリーンスクリーンをセットアップしたんですけど、うまくいきませんでした。カメラで見えると思いますが、このような粒状のエフェクトがあって、私の周りに緑の輪郭があります。それを本当にやり方を知らない人がやった質の悪い仕事です。それは私のことですけど。
でも、多くの人がこのクールなマトリックス的シミュレーションエフェクトを気に入ってくれました。自分の動画でこのエフェクトを再現する方法を尋ねる人もいます。なので、これからは、これが私が意図した正確なエフェクトだったということにしておきます。すべては計画的で入念に作られたものでした。
ここまで見ていただき、本当にありがとうございます。心から感謝します。次回もお会いできることを楽しみにしています。私の名前はWes RTHです。また近いうちに。