Google AI StudioでLLM比較
Google AI Sutdioの紹介
以前、Google AI Studioの記事を書いた時から使用可能なLLMの性能が上がりましたので今回試してみます。Google AI Studioとは何ぞやという人は以前の記事ですが参考になるかと思います。
この時から少しインタフェースが変わっているようですが、大まかなところは変わっていないのではないかと思います。
Google AI StudioでLLM比較
今回は、GoogleのGemini 1.0 Pro、Gemini 1.5 Flash、Gemini 1.5 Proの３つのLLMについて比較したいと考えています。
現在は、Gemini 1.5 FlashとGemini 1.5 ProはPREVIEW版なので使うことができます。
では、色々と質問をしていきます。
最初は、各々のモデルに自己紹介をしてもらいます。各LLMを使うときは、該当のLLMに変更しています。
普通に使用モデル情報も持っているかと思いましたが、Gemini 1.5系は持っていないようですね。
コード能力はどのくらいかを知りたいので、GeminiのAPIキーを利用したStreamlitのコードを書いてもらいます。次のようなPromptを入力します。
GeminiのAPIキーを利用するStreamlitのコードを書いて下さい。ユーザが入力フォームに何か質問を入力して、Enterボタンを押すとGeminiのAPIキーを利用して出力結果をStreamlit上に表示するコードを書いてください。
Gemini 1.5 Flashだとエラー処理も実装されていますね。
Gemini 1.5 Proですとコードもエラー処理されていますし、APIキーをコードに直打ちするのではなくセキュリティを高めたコードが作成されています。また、その使い方も案内しています。
例が1つしかないですが、コードに限って言えば、Gemini 1.5 Proはセキュアなコードを提案していますね。
リアルタイムな情報は取得できないと思っていますが聞いてみました。
3モデルとも出来ないことは出来ないと提示してくれるようですね。
次に、ファイルについての能力を見てみます。Googleのプレゼンテーションを取り込んで、何て書いてありますかと聞いてみます。
ファイルの今後の状況も書いてもらえているのが凄いですね。
Gemini 1.5 ProもGemini 1.5 Flashと同じような能力を発揮しています。
次に、Gemini 1.5 FlashとGemini 1.5 Proで動画の要約をみてみます。Gemini 1.0 Proにはこの機能は無いようです。
動画は見ていないですが、Gemini 1.5 Proは何か凄いですね。