見出し画像

OpenAI「strawberry」を使用して「Orion」という新モデルを開発中

Zun-Beho

最近、AI系YouTuberやXでのポスト、記事などでちらほら取り沙汰されているコードネーム「Orion（オライオン）」というモデルについて解説していきます。

海外の有料記事の情報をまとめると、以下の様な事がわかりました。

GPT-4を超えるモデル

OpenAIは現在、「Orion」というコード名で次世代の大規模言語モデル(LLM)を開発中です。このモデルは、現行のGPT-4を超える性能を目指しています。

  • 「The Information」の記事 では、「Strawberry」AIがOpenAIの次世代モデル「Orion」の基盤となることが報告されています。このモデルは、「Strawberry」で培った高度な推論能力を活かしてさらに発展したものとして位置づけられています。特に、チャットボットのビジネスにおいて大きな役割を果たすとされています。

  • 「The Decoder」の記事 では、「Strawberry」AIが新しい言語モデル「Orion」の核心技術として使用されていると報じています。「Strawberry」は高度な推論機能を提供するため、Orionがこれまでのモデルよりもさらに人間のような思考能力を発揮できるようになるとのことです。

Strawberryについて

Orionの開発に重要な役割を果たしている「Strawberry」は、以下のような特徴を持つAIモデルです:

  • 高度な推論能力: 複雑な数学やプログラミングのタスクに特化しています。

  • ロジック強化: 十分な時間があれば、言語関連のタスクも効果的に解決できるよう設計されています。

  • 実績: 内部テストでは、ニューヨーク・タイムズのワードパズル「Connections」を解くことに成功しました。

  • 将来の展開: OpenAIは早ければ2024年秋にもStrawberryのチャットボット版をChatGPTの一部としてリリースする可能性があります。

strawberryについては、いくつかのNoteで考察していますので合わせてご覧ください。

OrianにおけるStrawberryの役割

情報筋 Bindu Reddyがポストしている内容をまとめてみると下記の様になりました。

OpenAIが現在進行中のAIモデルの開発に関する戦略的な動きについて説明しています。以下はその要点です：

  1. Strawberryモデルの存在: OpenAIが開発している「Strawberry」というモデルは、数学や推論能力に非常に優れているとされています。ただし、これはまだ内部でのみ使用されており、公開はされていません。

  2. Strawberryの役割: Strawberryは、外部にリリースされる予定がないか、リリースされても小規模なモデルになる可能性があるとされています。このモデルは主に、次世代モデルである「Orion」(GPT-6) のための合成データを生成するために使用されています。

  3. Orionの計画: OrionはGPT-6として開発されており、OpenAIが競争を大きくリードするための「巨大な一歩」として位置づけられています。Strawberryモデルを使ってトレーニングされたOrionは、他のモデルや企業を大きく引き離すことを目的としています。

  4. 戦略的な意図: OpenAIは、GPT-5のリリースを飛ばして、直接GPT-6（Orion）を開発・公開する計画である可能性があります。これは、競合他社よりも大幅に先行するための戦略的な一手として捉えられます。

  5. 懸念: Bindu Reddyは、このような動きが行われることで、オープンソースAIが存在しない場合、少数の企業が文明のコントロールを握ることになるかもしれないという懸念を示しています。つまり、AI技術の進展が一部の企業によって独占される可能性があるという警鐘を鳴らしています。

「Strawberry」は「Orion」の教師役

Strawberryは「Orion」をトレーニングするための「教師役」として機能しており、この教師モデルによって次世代のAIモデルがさらに強化される計画です。この方法でOpenAIは、GPT-5を飛ばして直接GPT-6を開発し、他を圧倒することを目指しています。

具体的には、「Strawberry」は高度な推論や数学的能力を持つモデルで、OpenAI内部で使用されているものの、外部に公開される予定はあまりないか、もし公開されても限定的な形になる可能性があります。その代わり、「Strawberry」は合成データを生成し、そのデータを使って「Orion」をトレーニングする役割を担っています。この戦略により、OpenAIは競争相手を大きく引き離すことを目指しています。

いいなと思ったら応援しよう！