デジタルMATSUMOTOも早速GPT-4 Turboに対応しています。
日本人の我々にはプロンプトのトークン制限が増えただけでも魅力的ですね。
GPT-4よりも性能が落ちたという指摘もあるようですが、デジタルMATSUMOTOの考察ではどうでしょうか?
本日は「GPT-4 vs GPT-4 Turbo」の比較になります。ちなみにタイトルの画像はChatGPT(DALL-E)に作成してもらいました。
GPT-4 vs GPT-4 Turbo 4番勝負
A/B/C/Dの夫々の記事から生成した考察を比較しています。
第1試合:A評価記事(GPT-4の勝ち:Turboの評価はBに下がる。正直、この内容ならGPT-4 Turboを使って考察を修正していきたい)
まずはAI活用事例シリーズの記事から。GPT-4 TurboでもExcellentな記事が作成できるでしょうか?
GPT-4で生成した考察は以下になります。
GPT-4 Turboでは以下の考察が作成されました。
元記事と同じように、安全性、雇用への影響、高齢者・障碍者、法制度について触れつつ、保険制度やAIの倫理についても触れてくれています。
一方で、利用者に対する公平性は蛇足かなと言う感じです。
第2試合:B評価記事(GPT-4の勝ち:富岳の論点入れて欲しかった・・・)
続いて最近のB評価記事から。GPT-4で生成した考察は以下になります。
GPT-4 Turboでは以下の考察が作成されました。
国際的な技術協力や日本語データセットについての課題を指摘してくれていますが、あくまで主題はGPUの話なのでGPT-4で生成していた際のように富岳の話を使ってほしいなといったところでした。
また何故かスポーツ関係の引用が行われていたのですが、これはちょっと主題と違うかなと・・・
第3試合:C評価記事(GPT-4 Turboの勝ち:A評価の考察を書いてくれました)
続いてC評価記事から(先程何故か引用されていたグラッドキューブの件)。
GPT-4で生成した考察は以下になります。
GPT-4 Turboでは以下の考察が作成されました。
これはA評価の良い考察になっていると感じています。特に選手のキャリアや生活への影響という点から、スポーツの公平性に触れているところは良いかなと。
第4試合:D評価記事(GPT-4 Turboの勝ち:B評価)
最後にD評価記事から。GPT-4 Turboも元記事をガン無視してしまうでしょうか?
GPT-4で生成した考察は以下になります。
GPT-4 Turboでは以下の考察が作成されました。
大部分は元記事とあまり変わらないものの、今後の課題について具体的に述べてくれていました。
一部リアル松本の追記があったのでB評価になっています。
結果
結果的には、2勝2敗の引き分けといった感じです。
しばらくは基本的にGPT-4 Turboを使って考察を作成しつつ、参考情報としてGPT-4も継続的に実行してみようと考えています。
(年末も近くなり、リアル松本の財政的にはAPI料金が気になりつつあるところですが、まあ若干値下げしたし・・・)
来週くらいからGPT-4 Turboで作成した考察を反映する予定です。
デジタルMATSUMOTO DevDayは明日で最終回になる予定です。
と言いつつ、何かネタが浮かんだらDay5やるかもしれませんがw