ChatGPTに関する私の勘違い三選: GPT-4のトークン制限、モデルの選択
最近、勘違いに気づいたこと：その１
ChatGPT plus plan,team planの「GPT4モード」では、32kトークンまでしか使えない（公表事実）
GPT4Turboは、128kが上限だから、なんか128kまで使えるイメージを持っていました…
要はmodelはGPT4Turbo128kを使っていても。ChatGPTアプリで32kまでの制限があるということ。ちなみにChatGPT Enterpriseは128kと明記されている。https://openai.com/chatgpt/pricing
補足：
・実装は、AssitantAPIで32kコンテキスト制限は出来ないから、ChatGPTアプリ専用のコンテキスト制限機能があるのでしょう。
・そして、Claude2では100k使える。Claude2.1なら200k。いまだ長文はClaudeの強みか。
ざっくり検証：
１．22k文字投入：アリスについての文章
２． 6k文字投入：ベイトソンについての文章
３．17k文字投入：ニーチェについての文章
４． 9k文字投入：プラトンについての文章
５．議論した文章を全部上げて
GPT＞ニーチェ、プラトンだけだよ
日本語で26k文字はOK。32k文字はNGだった。トークン数的には、おそらく32kを超えるのだろう。
最近、勘違いに気づいたこと：その２
ChatGPTの「GPT4モード」はつねにGPT4-Turboを使っているわけではない（推測）
おそらく利用するGPTのモデルは、AssitantAPI等で毎回選択していると予想。
AssitantAPIでは、複数のAssitant毎にGPTのモデルを設定し、それをひとつのThreadに対してメッセージ単位で適用(run)できる。要は、一つの会話履歴で、以下のようにGPT4のモデルが混在しているということ。
User＞
Assitant(GPT4Turbo)＞
User＞
Assitant(GPT4TurboVison)＞
User＞
Assitant(GPT4-32k)
補足：
・候補はGPT4-TurboとGPT4-TurboVisonとGPT4-32k。
・仕組みは、Tools（bing,codeintepreter,actions）を選択するのと同じようなもの（GPT4にどれを使ったらいいか聞いて選択）。
・場合によっては、gpt4-32kが選択されることもあると推測。今後どうなるかは不明だし、徐々にGPT4Turboに完全移行していく可能性はある。
・これが、ChatGPTのモデル選択画面で、"GPT4turbo"と書かずに、"GPT4"って書いてある理由かなぁと。
最近、勘違いに気づいたこと：その３
AssitantAPIでステートフルなのは、通信だけ。トークン投入は、すべて毎回全部行う（事実）
要はステートフルでもトークン利用料は削減されないことに注意。
（参考openai-cookbook、OpenAI公式リポジトリ)
Note： Even though you're no longer sending the entire history each time, you will still be charged for the tokens of the entire conversation history with each Run.
補足：
・AssitantAPIが出るまで、ステートレスで毎回全送信だったのが、ステートフルになったのを喜んでいたのに。トークン利用料が削減出来ないとあまり意味が…
他にも勘違いがあるのだろうなーと思う今日この頃。