Claude 3 vs GPT 早見表[料金・トークン・性能]
2024年3月4日に登場した、Claude 3 ファミリーについて、Xでは、解答がGPTに比べ、人間味がありおもしろいことが話題になっています！
「Claud3で2chをシミュレートすると楽しい」と聞いたので試してみたが…AIの考えるニュー速vipの解像度が高くてワロタwww pic.twitter.com/Cf62kpoC7F
— 深津 貴之 / THE GUILD (@fladdict) March 7, 2024
しかし、使う側として知りたいのは、アウトプットの内容だけではなく、コスト、コンテキスト長、トーカナイザー！だろうということで、以下に比較を掲載しました。
1.GUI版Web版のコスト
Open AI - ChatGPT Plus
コスト：USD $20/month(約3000円/月)
有料版 提供サービス:
GPT-4へのアクセス
ピーク時の優先アクセス
応答時間の短縮
新機能への優先アクセス
GPTsの閲覧、作成、使用
DALL-E、ブラウジング、高度なデータ解析などの追加ツールへのアクセス
https://openai.com/blog/chatgpt-plus
Anthropic - Claude Pro
コスト :USD $20/month + tax(約3000円/月+税)
有料版提供サービス:
Clude 3 Opus へのアクセス
ピーク時の優先アクセス
Cludeのバージョン切り替え
新機能への早期アクセス
無料版と比較して5倍の使用量(8時間ごとのメッセージ上限が無料ユーザーと比較して5倍になる)
2.APIコスト
OpenAI
Model || Input[$] / 1M token || Output[$] / 1M token ||
gpt-4-0125-preview || $10.00 || $30.00
gpt-4-1106-preview || $10.00 || $30.00
gpt-4 || $30.00 || $60.00
gpt-4-32k || $30.00 || $120.00
gpt-3.5-turbo-0125 || $0.50 || $1.50
Anthropic
Model || Input[$] / 1M token || Output[$] / 1M token ||
Claude 3 Opus || $15.00 || $75.00
Claude 3 Sonnet || $3.00 || $15.00
Claude 3 Haiku || $0.25 || $1.25
注目はOpusのOutput Costで、上記モデル内最大の$75/1M tokenです。Opus使うときは、インプット多め、アウトプットを絞った運用が良さそうですね。また、まだリリースされていないHaikuですが、GPT3.5と比較しても格安であるため、GPT3.5は今後、Haikuへの置き換えが進みそうです。。
3.トークン数・コンテキスト長
OpenAI
Model || Max Output Token || Context Window
gpt-4-0125-preview || 4,096 || 128,000
gpt-4-1106-preview || 4,096 || 128,000
gpt-4 || 8,192 || 8,192
gpt-4-32k || 32,768 || 32,768
gpt-3.5-turbo-0125 || 4096 || 16,385
https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo
Anthropic
Model || Max Output Token || Context Window
Claude 3 Opus || 4,096 || 200,000
Claude 3 Sonnet || 4,096 || 200,000
Claude 3 Haiku || 4,096 || 200,000
4.日本語トークン数比較
トークン数がスペックで決まっていても、Tokenizerによって実トークンが変わるため、走れメロスを例にトークン数を比較してみました。
GPT-4 GPT3.5
Claude 3
GPT→ 1.13token/Charactors
Claude3 → 1.12token/charactors
という結果となりほとんど誤差ですが、Claude3のほうが、同じトークン数でもより多くの日本語が入力できます。
約100文字あたり、Claude3のほうが、1文字多く入力できる計算です。
5.ベンチマーク比較
上記ベンチマーク比較において、Claud3の3モデルはすべて、GPT3.5モデルのスコアを上回っており、更にOpusについては、GPT-4を上回っていることが示されています。
結論
Q:GPT3.5 を使っているなら？
A:Claude 3Haikuに乗り換えたほうがよい！全てにおいて上位互換
Q:GPT4を使っているなら？
A:Input Textが多くて、Output Textが少ないならOpusに乗り換えよう！
Q:GPT4 Turboを使っているなら？
A: Sonnetで許されるなら、あり！もしOpusに乗り換えるなら、コストに震えろ！