【ChatGPT】ついに目を開くGPTさん【GPT-4V】

動きが早いなーGPTさん。
こういう機能はタイムリーにお知らせしていきますね。

Plus課金ユーザーに開放された新機能「画像添付と解析」を紹介します。この機能は、GPT-4Vと呼ばれています。
※GPT-4 ヴィジョン と読みます。

「ベータ機能」ではなく、GPT-4の基本機能、すなわちメインストリームで行えるようになっています。

Defaultを選択

GPT-4V（ヴィジョン）って？

GPTさんが「画像ファイル」を読み取る機能です。
従来、彼らとのコミュニケーションは「プロンプト（テキスト）」のみでしたが、これからは「画像」を使えます。目が見えるようになったんですよ。

画像認識自体は、これまでも「Advanced Data Analysis」で可能でした。今回の機能追加により「Default」から「画像」を送ることができます。
なお、画像以外のファイルは引き続きAdvancedで行いましょう。

GPT-4には強力なOCR機能があるので、画像内の文字もバッチリ認識します。つまり、文字選択を禁止しているPDFでも、Webサイトでも、コンプライアンストレーニングで出されるクイズでも。です。

あとこれ、スマホでも動きます。
いつの間にかDALL-Eも実装してた。びっくり。

カメラ／アルバムから

できること／制限事項

新機能について尋ねてみました。あれこれ試す前にまず聞く。

回答はこちら

---

できること:

1. 画像認識: 画像の内容を認識し、それに関する情報や説明を提供することができます。

2. アニメーションキャラクターの識別: アニメやマンガのキャラクターを認識し、そのキャラクターに関する情報を提供することができます。

3. 図やグラフの解析: 画像に含まれる図やグラフの内容を説明することができます。

制限事項:

1. 実在の人物の識別: 画像内の実在の人物の識別や、その人物に関する質問には答えられません。

2. 感じ取る能力: 画像に写る実際の人物の感情や意図、心理状態などの感じ取る能力はありません。

3. センシティブな情報: 画像から人物のセンシティブな情報（健康状態、宗教、性格、思想、政治的見解など）を推測することはできません。

4. 画質: 低解像度や不鮮明な画像では、正確な認識が難しい場合があります。

以上のような制限がありますので、ご理解の上、機能をお使いください。

---

とのことです。

使い方

いつものやつｗ

1. GPTに課金します。

2. メニューでGPT-4 Default を選ぶ。

3. 画像アイコンから対象の画像ファイルを選択し、アップロード

4. その画像ついて聞きたいこと／してほしい処理をプロンプトで指示

これね

クリップボードの画像もいける。すご。。。

やってみた

花道

花道だろ

花道の姿勢を認識しているのがわかりますね。文字は読めていない模様。

グラフ

世界人口の推移（出典）

読み取ってます。

クラフから元データのCSVを作成することもできます。

サザエさん

カツオは帽子被ってない

きちんと画像をみてキャラクターを判定しています。付帯情報はもともと知っていたのかな。

超サイヤ人

わかる？

余裕だった

しつこい

中の人かな？

ぱっと見同じような超サイヤ人をきちんと識別しています。すごいや。

モビルスーツ

被弾ゼロ機体

ガンダムはロボットじゃねぇ！！（ガノタはめんどくさい）

フリーダムっていうかと思ったらちゃんとわかってる。。やるな。

ワイも知らん子

頑張ってる

正解は「ガンキャノン・ディテクター」です。

グフって言うかな。。

ひとつ賢くなった

アニメは得手不得手があるようですね。

人物判定

二人ほど試したところ。。

天皇陛下

マイケル・ジャクソン

気になる答えは。。。

どっちもこう。

人を調べることは許さない姿勢が全面に！！
安全ですね。

新機能のリリースはワクワクします。
グラフを読み取ることができるのはありがたいです。

最後にちょっと試してみた。

あれです。

的確！

あってるよ！でもさ、そこじゃないんだｗｗ

と思ったら。

知ってるしｗ

おしまい。