はじめに
前回の発表で物凄く期待した割に、期待はずれだったBardのGemini対応アップデートですが(まああれはGoogleもGPT3.5に匹敵と言っていたのでGPT4と比べるべきではない)、この度、Bard改め、Gemini AdvancedとしてGPT4匹敵とうたうGemini Ultraが使用可能になりました。って事で比較です。
勝負内容
色々比べようかと思います。今回はノートのタイトル考える君です。GeminiではAdvancedを使用。ChatGPTでは『ChatGPT Classic(GPT4のみ)』のボットを使います。独自プロンプトを埋め込んだGPTsではGeminiに不利になるので、プロンプトをいちいちチャット欄で送信します。
現在英語以外はUltra未対応
後々知ったのですが、英語以外の言語はUltra未対応らしいです。
なのでGemini使用時のみGoogle本体の使用言語を英語に切り替えて英語で投げてみました。
noteのタイトル考えてね
Gemini
英語でやりましたが、少し精度はあっぷしたようです。どのようにプロセスを進めるかの説目を出力しました。プロンプトの再確認的な内容です。ある意味、ここで意図しない展開ならば修正できるので良いかもしれません。
下記は間違えて日本語で投げた時の返答。おそらくProとしての回答。
GPT4
そうだよ。それで良いんだよ。
続いて、このページを丸々コピペして投げます
Gemini
いくつかのパターンに分けて出力しています。わかりにくいのでGoogle翻訳の結果を出します。
プロンプトの大まかな意図は汲み取って回答していますが、プロンプトには「タイトルを10個書いて」という条件が書いてあります。それは完全に無視しています。ダラダラと考えたくないのでそのような条件付けをしているわけですので、良い結果とは言えません。
ちなみに、下記は間違えて日本語で投げた時の返答。おそらくProとしての回答。
GPT4
そうだよ。それで良いんだよ。
今回の結論
今回のような記事のタイトルを考える用途ではあまり使い物になりません。もちろん今はバージョン1なので無料お試しの2ヶ月はある意味で、Googleにとっても大規模なテスト運転期間なのかもしれません。にしても、トンチンカンすぎます。