OpenAI o1の推論トークン

夏からコードネームStrawberry、コードネームOrionと噂が出ていたOpenAIの新しいモデルがようやく出ました。推論トークナイザが実用化したのが新鮮です。

OpenAIの新モデル

OpenAIがGPT-4からGPT-4 Turbo、GPT-4o、GPT-4o miniとマイナーバージョンを繰り返して、GPT-4をさんざん引っ張っていました。これはGPTにこだわりがあるのかと思ったら、次のモデルはOpenAI o1-previewと o1-miniでした。
名前をがらっと変える理由があったのでしょうか。GPTシリーズのような通常の生成AIとは毛色が違うということでしょうか。
GPT-XからOpenAI oへとシリーズ名を変えるというのは上場前のスタートアップはよくやる手ですが、すでに推定時価総額20兆円超えのOpenAIがそんなことをやる必要があるのか不思議です。GPT-5, GPT-6, GPT-7, GPT-8と商標登録していたはずです。どうでもよくなったようです。

推論エンジン

デモを見る限り show chain of thoughts(試行の連鎖を見せて）では、面白い途中経過が数多くみられます。
以下のような感じです：

• ふむむ (Hmm)

• 面白い (Interesting)

• この定理を試してみよう (Let's test this theory)

• 直接ではない (Not Directly)

• それはなさそう (But that seems unlikely)

人間が考える過程に出てくる単語を連発しています。アイディアとかオプションとかいう行も出てきます。
まるまる推論過程です。
通常のGPT-4oとかと違い、OpenAI o1-previewでは推論トークンを使っているようです。推論過程自体をエンコーディングして学習していると予想されます。
単語、画像、動画、音声、分子構造、幾何学、などに続いて推論過程もトークナイザーでトークン化して大量データで学習すれば再現できてしまう時代が来たようです。
推論能力以上に推論トークナイザーが実用化されたことが驚きです。
これは博士課程レベルの生成AIもできてしまうわけです。

プロンプトエンジニアリングのギアチェンジ

内部でたくさん考えるので、「ステップバイステップで考えて」のような従来のプロンプトは不要で、時には有害になるようです。
プロンプトエンジニアリングでやっているようなことはだんだん生成AIで勝手にやってくれる、ということのようです。
しばらく、従来向けのプロンプトエンジニアリングと新モデル向けのプロンプトエンジニアリングの二刀流でやる必要があるようです。

むすび

推論する生成AIができたら他のことをするより先に生成AIに生成AI研究をさせれば他社に先んじることができると思います。OpenAIの今後に注目です。

参考文献

• [wesroth] OpenAI o1 CRUSHES PHD Level Experts! [HIDDEN THOUGHTS] https://www.youtube.com/watch?v=K_3ww-kICiM Wes Roth. 2024年 30m43s