プロンプト・エンジニアリングによってGPT-4がGemini Ultraのパフォーマンスを上回ったと聞いて。

基盤モデルの性能 x プロンプト・エンジニアリング

2023年12月6日に、Googleより新しいAIモデルであるGeminiが発表されました。その中でも、最も性能が高いとされるGemini Ultraは、GPT-4の性能を上回ったとして、話題になりました。

ところが、Microsoftは、それに対抗するかのごとく、プロンプト・エンジニアリングによって、GPT-4がGemini Ultraの性能を上回ったと、2023年12月12日に発表した記事において報告しました。

Steering at the Frontier: Extending the Power of Prompting - Microsoft Research

内容を見てみると、評価手法はGoogle Geminiの評価と同様にMMLUを用いているようですが、GeminiのプロンプトはCoT(Chain of Thought)であるのに対して、GPT-4では、Medprompt+が使用されています。
そして、結果として、GPT-4はGemini Ultraの性能を上回ったことを示しました。

Gemini Ultra(CoT@32) vs. GPT-4-1106(Medprompt+@31)

Microsoftは以前、こちらの記事にて、プロンプトエンジニアリングによって、基盤モデルの性能を更に引き出せることを報告しており、今回はそれを適用した形になります。

The power of prompting

所感

今回のMicrosoftの記事によって、今後は、単純な基盤モデルの性能に限らず、その性能を引き出すためのプロンプト・エンジニアリングが、より一層の注目を浴びながら、ベンチマークがなされていくと感じた。
また、今回はGPT-4に軍配が上がっているように見えたが、Gemini Proも同様にプロンプト・エンジニアリングを進めていけば、さらに性能が向上するのではないかと感じた。