見出し画像

GPT4o mini最速レビュー！なんとGPT4o本家より○○○？！

Key君

皆さん、びっくりしましたか？OpenAIが突然新しいモデルを発表するなんて！数時間前、OpenAIが「GPT-4o mini」という新しい軽量化モデルをリリースしたんです。
GPT-4o miniは、テキストと画像の入力に対応していて、テキスト出力ができるんです。将来的には音声や動画の機能も追加される予定だとか。

  • これって、性能どうなの？

  • そもそも軽量化モデルは何用？

  • 本家のGPT4oで良くない？

これらの疑問を解消していきましょう。

性能はGPT4o本家よりやや弱い、GPT3.5よりかなり強いポジション

  • 推論タスクのベンチマークMMULで82%のスコアを獲得し、競合モデル（Gemini1.5 Flashなど）を上回る。

  • 標準的なGPT-4モデル（oがついていないもの）を上回る。

GPT4oの9割の実力を持ち、GPT3.5 Turboに比べると圧勝

コストはGPT3.5より安く、現時点コスパ最強

  • GPT-3.5 Turboと比較して60%以上安価で、従来のフロンティアモデルよりも大幅に低コスト。

  • 開発者向けのAPIでは、100万入力トークンあたり15セント、100万出力トークンあたり60セントの価格設定。

現時点コスパ最強

どこで使える？

  • ChatGPTの無料版、Plus版、Team版で即日利用可能となり、GPT-3.5 Turboに代わって提供。

  • 開発者はAssistants API、Chat Completions API、Batch APIを通じて即日利用可能。

  • エンタープライズユーザーは来週から利用可能。

気になる技術仕様

  • コンテキストウィンドウは128,000トークン、従来のGPT4シリーズと同様。

  • 知識のカットオフ日は2023年10月です、GPT4oと同様。

目的と意義

  • OpenAIの狙いは、AIをより広く利用可能にすることみたいです。

  • 多数のAPI呼び出しや長文やり取りを必要とするアプリケーションなどで特に有用とされています。

早速テスト

さあ、ここからが本番です！早速、本家のGPT4oと比較してみました。今日は小説家に特化したベンチマークの一部を実践してみようと思います。
別の記事では小説家に特化するベンチマークを紹介しています。

構築段階：アイデア発想

まずは、「砂漠」「ピアノ」「傘」をテーマとする三題噺の短編小説のアイデアを考えてもらいました。
三題噺の考え方についてこちらの記事でも紹介しています。

見慣れたGPT4oの出力

まぁ、ザー・GPT4って感じです（笑）。

一方、GPT4o miniの出力

驚いたのは、GPT4o miniの速度です！体感で1.5倍ぐらい早い感じ。文字数はあまり変わらない印象でしたが、この速さは魅力的です。

アウトプットを見てみると…
GPT4o：GPT4o：砂漠とピアノの要素はあるんですが、傘の要素が抜けているものもありました。正直、「これ書きたい！」と思えるアイデアはなかったかな…
GPT4o mini：ベースは似ている感じですが、「未来の砂漠都市では、音楽が禁止されている」とか「彼は常に傘を持ち歩き、砂嵐の中でも傘を差しながらピアノを弾く」とか、世界観やキャラクターが見えるような気がしました。同じく傘の要素が抜けている印象があります。

それと、もしかしたらGPT4o miniのほうが日本語が自然...？気のせいかな？
総論として大差はない気がします。でも実際のところ、GPT4o miniはGPT3.5より料金が安いので、そう考えるとかなりコスパ的に行けっちゃいます？

執筆段階：くだらない小説執筆

以前GPT4oで書いてもらった「くだらない小説」をGPT4o miniにも書いてもらいました。
GPT4oのバージョンが既にあるので再掲になります。
こちらの記事でChatGPTの出力を人間らしくする方法も紹介しています。


GPT4oバージョン再掲
GPT4o miniのバージョン

なんかめっちゃ書くとメモリが更新されちゃった（笑）。
おや？GPT4シリーズの特徴だった章立てがなくなってる！ちゃんとした小説形式になっている...？
内容を見てみると、確かにGPT4o本家より日本語が自然に感じます。本家は無理やり「ハッピーエンディング」らしきものに持っていく印象がありましたが、GPT4o miniは「皮肉」を捉えて終わらせています。個人的には、GPT4o miniのほうが好きですね。

改稿段階：作品の改善点

最後に、創作大賞に出す予定の6000字ほどの小説の改善点について聞いてみました。

GPT4oは具体的なアドバイス

GPT4oは具体的な改善点を教えてきました。
全体的にいい感じです。

GPT4 miniはもう少し包絡的

GPT4 miniも悪くないです。長文読解力に差が出るかと思いましたが、そんなに差はない印象。むしろ、日本語表現はGPT4o miniのほうが自然な気がします。
やはりGPT4o miniが圧倒的に早いです。

なぜ本家ではなく、軽量化モデルを使うのか

  • 速度：GPT4o mini、本家より早いです。やはり早ければ早いほど嬉しいですよね。

  • AIサービスの値下げ：OpenAIのAPIを使っているAIサービスが、今後GPT3.5からGPT4o miniにシフトしていくこと。AIサービス全体的な質の向上・値下げが期待できそうです！

  • AI活用普及のため：無料版ChatGPTユーザーにとって、GPT4oの制限にすぐ達してしまうので、代わりにGPT4o miniを使えば良さそう。

一方、今回試したタスクではあまり差が出ませんでしたが、もっと難しいタスクで試すと差が出てくるかもしれません。

小規模モデルの展望

自分は汎用チャットボット全般をかなり使っていますが、APIを使ったサービスがあまり使っていないです。使っているのがNotionAIかMiro AIぐらいです。
その理由は、「高い」、からです。
ほとんどのAPIを使ったAIサービスがクレジット制で、毎月試せる回数が限られています。そうなると、下手に試せないので、AIが持つ「壁打ち」「試行錯誤」の強みを生かせないです。
あとサービスにもよりますが、1800円ぐらいで課金しても、30回ぐらいの実行で底が見えることもあります。
GPT4o miniを筆頭とする軽量化モデルがどんどん増えると、このような状況も改善されるかもしれません。

#生成AI
#AIとやってみた
#Claude
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#GPT4o
#GPT4
#AIライティング
#OpenAI
#LLM
#小説執筆

この記事が参加している募集

#AIとやってみた

36,640件

この記事が気に入ったらサポートをしてみませんか？