見出し画像

GPT-4、Gemini Ultra比較。軍配はどちらに？

Zun-Beho

Googleは本日、Bardを、Gemini Advanced およびモバイル アプリ ( Ultra 1.0 モデルを使用)に名称変更しました。

Gemini Advancedの有料版リリース

本日Bardから名称変更したGemini Advancedには有料版でGemini Ultraが利用できます。ただしまだ英語にしか対応していません。

これからリリースされる特典には魅力的なものがあります。Microsoftのエコシステムを利用していない国内のITユニコーンやスタートアップ企業にはとても便利な機能になる可能性があります。

下記は、これから実装予定のGoogle Oneをアップグレードすると利用可能になるGemini UltraのGoogleサービスとの連動機能です。

さっそく、Google発表のスペック検証で言われていたGemini UltraはGPT-4を上回ると言うのは本当なのかという検証が本日のXのポストに多数上がっていたので紹介していきます。なお、Google発表のスペック検証については下記のNoteで詳しく伝えていますので合わせてご覧ください。


GPT-4がGemini Ultraよりも優れている主張するポスト

Google検証のスペックではGemini UltraはGPT-4よりも優れているとされていますが、その逆だと主張するポストが多く見受けられます。

Google Gemini Ultra は依然としてGPT-4よりもはるかに劣っています。

Google はこれを 1 年間続けていますが、 GPT4より優れたものを見つける方法を知りません。

GPT-4 と Gemini Ultra の詳細な比較をぜひ見てみたいと思います。実際のコーディング作業のために午前中ずっと彼らとハッキングしていましたが、それでも GPT-4 に優位性を与える必要があります。

サンダー・ピチャイがGPT-4を下回る価格でGemini Ultraを販売しないという選択は、大胆な動きです。

彼は製品開発で遅れを取っていることを認識しています。もし彼が価格を下げれば、直ちにPR（広報活動）が活性化されるかもしれませんが、その結果としてDeepMindが値下げする製品を作る動機付けを与えてしまうでしょう。

じっくり比較すると実はGemini Ultraが優れているとするポスト

ジェミニで遊んだりテストしたりするのは興味深いです。一見すると、人々が GPT4 の方がまだ優れていると考える理由がわかります。しかし、実際には、ロックを解除するためのいくつかのトリックを試すと、一部のタスクでは Gemini のパフォーマンスがはるかに向上する可能性があることがわかりました。Gemini は、デフォルトの動作や命令から変更するリクエストに対して GPT4 よりもはるかに応答性が高くなります。これは、私が念頭に置いていた特定のタスクにもっと役立つようにジェミニを形作ることができることを意味しました。そうすることで、私が作成したいくつかの主観的なベンチマークでは、(少なくとも私にとっては) GPT4 よりも強力になりました。今日はいくつかのコーディングタスクでテストしてみます。言い換えれば、基礎となる Gemini Ultra モデルは GPT4 よりも強力である可能性があると私は考えています。彼らが一番上に置いたデフォルトの「UX」（非常に構造化された、実行可能なポイントと提案のMECEリスト）は、それを「つまらない」ものにします。しかし、粘り強く続けることで、そのデフォルトを取り除き、より議論的で、議論が少なく、より探索的になる…コンテキストが必要とするものであれば何でも、はるかに優れたエクスペリエンスを得ることができます。ますます、これらの言語モデルは高性能車のようなものであることがわかります。同じ 700kw V8 エンジンを GT と 2 トン 4WD の両方に搭載することができます。しかし、そのシャーシの選択がエンジンのエクスペリエンスを決定します。おそらくこれは過小評価されている点だと思います。

GPT-4、Gemini Ultra比較ポスト

検証結果をシェアしているポストもあります。このポストではGPT-4がより優れていると結論づけています。

私は GPT-4 を Gemini Advanced (Ultra 1. 0)と並行してテストしました。Gemini の方が高速ではありますが、特に感銘を受けたとは言えません。

具体的な例を示します。現在テネリフェ島にいる友人から WhatsApp で次の画像を受け取りました。

私はそれを GPT-4 と Gemini Advanced の両方にアップロードし、両方に同じプロンプトを使用しました。「なぜ今、そこの空気はとても悪いのですか?」

以下が彼らの反応です。 Google のチャットボットは応答がはるかに速かったですが、それほど印象的ではありませんでした。 GPT-4 は応答にかなり時間がかかりましたが、クエリに応答する際にはより具体的で役に立ちました。 面白いことに、私は GPT-4 からの出力の方がはるかに優れていると Gemini に伝えたところ、Gemini も次のように同意しました。

マリウス・コンペル

GPT-4、Gemini Ultra比較動画

AI Explainedの「Gemini Ultra - Full Review」動画レビューによれば、多岐にわたる比較検証を経ても、GPT-4からGoogleのGemini Ultraへ乗り換える決定的な理由は見つからなかったとのことです。この結果は、AI技術の進化において重要な一歩であり、今後のGoogle AIの挑戦と方向性を探る上で重要な示唆を与えています。

Gemini Ultra vs GPT-4: 機能と性能の比較

最新のAI技術を駆使した2つのモデル、GoogleのGemini UltraとOpenAIのGPT-4の間での機能と性能を比較します。検証結果からは、両モデルが提供するユニークな機能と応用範囲に明確な違いがあることが示されました。しかし、Gemini UltraがGPT-4を明確に凌駕する決定的な証拠は見つかっていません。この比較は、ユーザーが自身のニーズに最適なモデルを選択する際の参考になり、AI技術の発展における今後のトレンドと課題を示唆しています。

検証１：

Gemini Ultraに、車の所有に関する論理的な質問をしました。Gemini Ultraは正確に1台と回答しましたが、GPT-4は3台と誤って回答しました。この結果に基づき、Gemini Ultraが将来的に改善されることを期待していることを示唆しています。

Gemini Ultraのポジティブな点として、GPT-4よりも高速であり、メッセージの上限がないように見えること、そして数学的推論の質問で一貫して正解を出す能力を挙げています。これらの点では、Gemini UltraがGPT-4よりも優れている可能性があります。

検証2：

画像解析の能力については、Gemini Ultraは車のダッシュボードの写真を分析する際に60MPHという誤った速度を示唆しましたが、速度違反は危険であるという警告もしています。これは、Gemini Ultraが時々正しい行動を促すための追加のプロンプトが必要であることを示しています。

Gemini Ultraに車のダッシュボードの写真を基に、温度、時刻、燃料の残りマイル数を尋ねました。最初はGemini Ultraはこれらの情報を判定できないと回答しましたが、プロンプトを何度か繰り返した後、温度や時刻を正確に回答しました。これに対し、GPT-4はより良い結果を出しましたが、完璧ではありませんでした。速度に関して誤りがあり、燃料の残りが37マイルであると誤って判断しました。

検証3：

コードデバッグのテストでは、GPT-4が問題のあるコードを完璧に修正したのに対し、Gemini Ultraはいくつかの間違いを犯しました。Gemini Ultraは最初の出力が誤っているにもかかわらず、提供されたエラーの種類を擁護し、その後で誤りを謝罪しました。

検証4：

高校の確率に関するクイズを作成するようGemini UltraとGPT-4に依頼しました。GPT-4の回答には間違いがなかったのに対し、Gemini Ultraは計算ミスを犯しました。これにより、教育分野での使用にはまだ準備ができていないと判断していますが、GPT-4も完全ではないと述べています。

Alpha Code 2とAIの未来

Alpha Code 2は、プログラミングコンテストで人間の専門家と同等かそれ以上の成績を収める能力を持ち、その統合によってGeminiのコーディング関連機能が大幅に強化される見込みです。この革新は、AIによるプログラミングの自動化と効率化を大きく前進させる可能性を秘めており、AI技術の応用範囲を拡大することが期待されます。

AIインサイダー: プロフェッショナルチップスとネットワーキング

AI分野で活躍するプロフェッショナルたちが集まり、知見を共有し合うプラットフォーム「AIインサイダー」があります。このプラットフォームでは、Googleの社員、CEO、脳神経外科医、教授など、多様な分野の専門家約25人が参加し、実践的なチップスや業界の最新動向を共有しています。専門家によるゲスト投稿を通じて、直接質問ができるインタラクティブな環境が提供されており、AI技術の応用やキャリアアップに関心がある人々にとって貴重なネットワーキングの機会を提供しています。このようなコミュニティの存在は、AI業界の発展を促進し、新たなアイデアやプロジェクトの創出に貢献しています。

数学とゲーム: Geminiの潜在能力

次に、動画ではGemini AIが数学とゲームの分野で示す可能性に焦点を当てています。特に、Alpha GeometryのようなシステムがGeminiに統合されると、数学問題の解決において非常に高い精度を達成できるようになります。これは、国際数学オリンピアードでの卓越したパフォーマンスを通じて既に証明されています。また、Google DeepMindが開発したAIによるチェスのグランドマスターレベルへの到達は、ゲーム戦略の理解と実行においてGeminiが持つ潜在能力を示しています。これらの進展は、Geminiが数学教育やゲーム設計、さらには戦略的思考が求められる他の領域で、どのように応用され得るかのヒントを提供します。

教育におけるGemini Ultraの応用

Gemini Ultraの高度な理解能力と対話機能により、個別の学習支援や自動化されたチュータリングサービスが実現可能になります。例えば、確率問題の作成で見られたように、学生に対してカスタマイズされたクイズや演習問題を提供することで、より深い学習体験を提供できます。しかし、正確性や適切な知識の提示にはまだ課題があり、教育現場での完全な導入に向けた改善が必要です。Gemini Ultraがこれらの課題を克服すれば、教育のパーソナライズ化と効率化に大きく寄与することが期待されます。

GoogleのAI戦略とGemini Ultraの未来

AI Explainedの「Gemini Ultra - Full Review」から得られた洞察は、GPT-4からの乗り換えに明確な理由が見当たらないとしつつも、Gemini Ultraが将来教育、プログラミング、ゲームなどの分野で大きな影響を与えうる潜在能力を秘めていることを示しています。

動画ではGoogleとサンダー・ピチャイは昨年春に何かをリリースするための大きな圧力の下にあり、開発が完了したにも関わらず未だにリリースされていない音楽生成モデルLyriaや、Googleがそのチャットボットを立ち上げなかったためにCharacter AIの創設者が2021年にGoogleを離れたことに触れられています。また、Googleから毎月何かがリリースされるのを待たずにスタートアップを立ち上げるために去っていく従業員のグループがあることも指摘されています。

GEMINIの強みはGoogleのエコシステム

スプレッドシートを直接操作して変更する機能や、Google のエコシステム (Gmail、ドキュメント、スプレッドシート、スライド) への統合など、OpenAI の製品には存在しないいくつかの特別な機能が導入されています。この統合により、AI 機能を備えた生産性ツールが強化される可能性があり、Google のアプリケーション スイートに多額の投資をしているユーザーにとって実用的な選択肢になります。

この記事が気に入ったらサポートをしてみませんか？