【なぜ無料なのに使わない】入力文章数、画像・動画解析の質がNo.1の「Gemini 1.5 Pro」の使い方・特徴を徹底解説《活用事例７選＋他LLMと徹底比較》

みなさん、こんにちは。
チャエンです！（自己紹介はこちら）

毎週のように各社から強力なLLMが公開されて、情報のアップデートについていくので必死ですよね。
先週は、Metaが公開したオープンソースのLLM「Llama」について紹介しました。

そして、今週はGoogleが公開しているLLM「Gemini 1.5 Pro」について紹介していきます。正直、性能が群を抜いてすごいです。

【Gemini 1.5 Proの性能が群を抜いてすごい件。GPT-4、Claude 3を凌駕】

目でも見えないくらい細かい生成AI企業のカオスマップをGemini 1.5 Pronで解析したところ、5分くらいずっとAIが動いて企業名を書き出した。

GPT-4：解析不能
Claude 3：本当に一部のみ

比較すると差は歴然。… pic.twitter.com/CPNZBApPcT

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) April 4, 2024

わかりやすい特徴だと最大1000万トークンに対応しており、書籍を80冊くらいを一気に読み込めるレベル。また、唯一動画を読み込むことができます。

【⚡️速報：Googleが最大1000万トークンに対応した最新AIモデル「Gemini 1.5 Pro」を公開】

これはOpenAI一強のAI業界を覆す衝撃に発表。

書籍を80冊くらいを一気に読み込めるレベル。

・Claude 2.1：200K
・GPT-4 Turbo ：128K

と既存のモデルを圧倒的に上回る圧倒的性能。

精度も高く、Gemini… pic.twitter.com/UFaQjAWhcu

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) February 15, 2024

今回のnoteでは、Gemini 1.5 Proの概要や使い方、活用方法などを紹介します。最後までぜひご覧ください。

1.Gemini 1.5 Proとは？

‎Gemini - chat to supercharge your ideas

Gemini 1.5 Proは、Googleから発表された強力なLLMです。文書400ページ丸ごと解析するだけでなく、動画1時間の読み込みやソースコード100,000行の修正ができます。

Googleが公開したデモ動画はこちら。

1-1 性能紹介

Gemini 1.5 Proは、動画を含むさまざまなモダリティに対して、高度に洗練された理解と推論タスクを実行できます。

テキスト、コード、画像、音声、動画の包括的な評価パネルでテストしたところ、Gemini 1.5 Proは、大規模言語モデル（LLM）の開発に使用したベンチマークのうち87%で1.0 Proを上回りました。また、同じベンチマークで1.0 Ultraと比較した場合、ほぼ同レベルの性能を示しています。

Gemini 1.5 Proの長いコンテキストウィンドウは、大規模モデルの中では初めてのものであるため、その斬新な能力をテストするための新しい評価とベンチマークを継続的に開発しています。

1-2 Google の他のAIとの違い

Gemini 1.5 Proは中規模のモデルでありながら、先代の旗艦モデルであるUltra 1.0と同等の性能を持っています。

Ultra 1.0は、Gemini 1.5 Proが公開される一週間前にリリースされた新しいモデルです。性能比較では32項目中30項目でGPT-4を上回り、数学・人文学を含む全57科目の問題集「MMLU」で専門家を凌ぐ高い性能を誇っていました。

Ultra 1.0とGemini 1.5 Proを比較すると、基本性能（Core Capabilities）は双方が互角であることが分かります。さらに、テキスト処理能力の比較では、13項目中10項目でGemini 1.5 Proが上位に立っています。

1-3 動画を解析できる唯一のAI

Gemini 1.5 Proは、最大1時間のビデオに渡って推論することもできます。動画を添付すると、Google AI Studioはそれを何千ものフレーム（音声なし）に分解し、高度な推論や問題解決のタスクを実行することができます。

Gemini 1.5 Proは、与えられたプロンプト内の大量のコンテンツを継ぎ目なく分析、分類、要約する能力を持ちます。このミッションのトランスクリプトから興味深い詳細を理解し、推論し、特定することが可能です。

1-4 Web版と開発環境の違い

Google Geminiは、Web版と開発環境の2つで使用することができます。

Web版

• セットアップやインストールが不要で、すぐに利用できる

• ブラウザベースなので、さまざまなデバイスで使用可能

• カスタムモデルの設計や大規模なデータセットでの作業は、開発環境ほど強力ではない

開発環境

• カスタムモデルの作成や、高度なカスタマイズが可能

• セットアップとインストールが必要で、若干の使いにくさがある

より詳しいGemini 1.5 Proについて過去にも解説しています！興味のある方はこちらもご覧ください！

2.Gemini 1.5 Proの使い方

Gemini 1.5 Proの使い方を紹介していきます。
Web版では、Gemini 1.5 Proは対応していないので注意しましょう。

2-1 始め方

以下のURLにアクセスしましょう。Googleのブラウザですでにログインしている場合は、そのまま始めることができると思います。

Sign in - Google Accounts

上記のような記載が表示されたら、New Promptsまたは右上のバツを選択してください。

2-2 表示画面の紹介

以下のような画面が表示されたら最初のセットアップは完了です。

それぞれの使い方について紹介します。

①画像やファイルのアップロード
赤く囲った部分から、選択しアップロードをすることができます。また、ドラッグ&ドロップでもアップロードできます。

動画をアップロードして解析できる唯一のLLMなので、覚えておきましょう！

②プロンプトの入力
下にあるType somethingの部分から、プロンプトを入力することができます。全体的に黒く見辛いので慣れるまで一瞬探してしますかと思います。笑

③モデルの選択
デフォルトでGemini 1.5 Proが選択されています。現在は、Gemini 1.0 Pro・Gemini 1.5 Pro・Gemini 1.0 Pro 001の中から選べます。

実際の使い方はこちら

3.Gemini 1.5 Proの活用事例７選

実際に使ってみた事例を紹介していきます。
プロンプトと結果をまとめているので、すぐに使うことができると思います！「どんな風に使うべきなのかわからない」と悩んでいる方必見です。

各使い方プロンプト付きで紹介しており、最後には
GPT-4、Claude 3、Gemini 1.5 Proどれを使うべきなのかの考察記事付きです🔥