ChatGPTで異常検知はできるのか？
ChatGPT部でChatGPTヘビーユーザーのこーたろーです。
最近、またChatGPTがバージョンアップして、できることが増えてきました。その一つがChatGPT-4Vで、画像認識ができるようになったということです。画像に記載されている内容を理解して、説明してくれるというものになります。
そこで、今回は２枚の画像の「違い」がわかるかを検証してみました。
本編に移る前に、私のやっているAI関連情報発信用アカウントの宣伝をしておきます。是非、フォローをお願いします。
【Twitter情報収集アカウント：https://twitter.com/info_AI_x_DX 】
それでは、本編をご覧ください。
1. はじめに
ChatGPT-4Vが発表されて約1ヶ月が経ちました。”ChatGPTに目と耳がついた”と言われるほどの内容で、界隈は非常に盛り上がりを見せています。
画像認識がどの程度出来るかによっては、このChatGPTで異常検知までできてしまうということで、この性能を確認するために、以下のようなことをやってみます。
間違い探しを行う
難易度を変えて行う
最終的な評価を行う（まとめ）
2. 間違い探し
無料の間違い探しのサイトのデータを使いました。
2.1 間違い探しケース１（初級レベル）
次のような画像を読み込ませました。
間違いは３箇所です。
この画像を比較してもらい、間違いを探してもらいます。
2.2 ChatGPTの回答
早速、画像とセットで質問をしていきます。
ChatGPTからは以下の回答が来ました。
３つのところ、４つ出てきました。あと、イラストであるせいか、誤認識しているものがありそうです。詳しく説明してもらいます。
まず、回答の１からです。
一つ目の誤認識は解消しました。「白い蝶」を「白い花」と勘違いしていたようです。ただし、しっかり指摘をしてあげると、正しく認識してくれました。
もう続いて、回答の２についてです。
おそらく、大きな木というのは山のことかと思いますが、正解しているので、次に進みます。
３つ目の回答は正解しているため、４つ目について質問していきます。
間違いであったことを確認しました。
2.3 間違い探しケース2（中級レベル）
続いては、難易度を少し上げます。
こちらの画像について間違いを探してもらいました。
皆さんならどのように違いを見つけていきますか？
おそらく、LLMでの間違い探しや異常検知はここが重要となってきます。
ちなみに正解は
2.4 ChatGPTの回答
それでは早速、ChatGPTに探してもらいましょう。
ChatGPTは自信満々のようですが、間違えていますので、それを伝えてみます。
粘り強く探してもらいます。
少し難しかったようです。
3. ChatGPTに聞く、正答率の上げ方
今回やってわかったことは、図やイラストをアップロードして、一旦は各オブジェクトを探しに行って、それぞれが何であるかを確認しているように見受けられました。
そこから違いを探しているのですが、例えば２つ目のイラストでは間違いの部分のイラストの認識が「人（子供）」となっていなかった可能性が高そうです。
そこで、ChatGPTに間違い探しの精度を上げる方法を教えてもらいました。
以下、ChatGPTの回答です。
詳細な説明: ユーザーが提供するイラストの説明をできるだけ詳細に行うことで、特定の領域に焦点を当てて分析を行うことができます。
エリア分割: イラストをいくつかのエリアに分割し、それぞれのエリアごとに違いを探す方法です。これにより、特定の部分に集中しやすくなります。
特徴のリストアップ: イラストの特徴をリストアップし、それぞれの特徴がもう一方のイラストに存在するかどうかをチェックする方法です。
ユーザーからのフィードバック: ユーザーからのフィードバックを基に、提供された情報をもとに次の推測を行うことができます。
段階的な確認: 最初に全体を大まかに見て明らかな違いを探し、次に細部にわたって丁寧に見ていく段階的なアプローチです。
対象のカテゴリ化: 人物、物体、背景など、イラスト内の対象をカテゴリ化してそれぞれで違いを探す方法です。
比較の自動化: 画像処理ツールを利用して、イラストの違いを自動で検出することも理論的には可能ですが、現在のChatGPTにはそのような機能は組み込まれていません。
明確な指示: ユーザーにより明確な指示を求めることで、特定の部分に注意を集中させることができます。
つまり、人の手助けをした状態で少しずつエリアを刻んで探してもらう方が良いということがわかりました。
よくよく考えると、人も同じように各ブロックやオブジェクト単位で確認していきますよね。
それをChatGPTに指示してあげると、うまく行くのかもしれません。
4. まとめ
今回は間違い探しを実験テーマとして、「違い」を見つけることができるかを実験していきました。
テーマとしては、この性能によって、ChatGPTで画像を利用した異常検知ができるのかどうかということを探るためのものでした。
結論としては、まだまだ発展途上であり、LLMとの対話の中から答えを探す必要があるという事で、１度で正解に辿り着くのは難しいという結論になりました。
もしかしたら、マルチエージェントでLLM同士に対話をさせて結論に持っていくとすると、AIのみで検出できるのかもしれません。
最終検討は後日行っていきたいと思います。