【プロンプトエンジニアリング】AIが間違いを起こす理由と対処法
こんにちは ちとせです。
Udemyなどで生成AIについての最近調べてたんですが、プロンプトエンジニアリングに関する興味深い講義を見つけたので、ざっくりとその内容をまとめてみました。
ChatGPTがよく起こす間違い集を、ChatGPTにまとめてもらう という反省文を書かせる中学教師みたいなことをしたので是非読んであげてください。
はじめに..!
現在、楽天社員からの紹介限定のキャンペーンを開催しております🎉
下記バナー経由でご契約いただけますと、最大14,000円分のポイントがもらえます。
ちなみに、当初は5月末で終了予定だったのですが、大人気のため今年いっぱいまでに延長されました。
様々メリットや、繋がりやすさについても記事をまとめておりますので、ご興味をお持ちいただけましたら、是非上記のリンクからご申請いただけますと幸いです！
AIがよく起こす間違い３つ
01｜幻覚（Hallucination）
chatGPT）生成AIは、ユーザから与えられたプロンプトに従ってなにか情報を与えようとする際に、誤った情報を提供することがあります。この現象を「幻覚（Hallucination）」と呼びます。
ちとせ）実際に生成AIの回答が合ってないのに合ってるテンションで答えてくるやつですね。分数や不等式でよく「これが正解だよ」みたいな感じで誤答を教えてきます。
ちょっと質問が意地悪な気もしますが…
https://business.nikkei.com/atcl/gen/19/00554/060700003/ より引用
chatGPT）理由としては、AIは膨大なデータから学習していますが、そのデータが不完全だったり、質問の文脈の「意味」を理解していないことが原因です。
例えば、歴史的な事実について尋ねた際に、存在しない出来事や人物について回答することがあります。これは、AIがその情報を元にして生成する際に、信頼できないソースからの情報を含めてしまったり、参照するべきソースが違っていることがあるためです。
具体的な例として、架空の引用や根拠のないデータを提供する場合があります。また、複雑な質問に対して、自信を持って誤った回答をすることもあります。
ちとせ）GPT自ら言っていてなんだかかわいいですが、その通り、自信を持って誤った回答をすることが頻繁にあります。
対処法:
AIが提供する情報に疑問を感じた場合は、「わからない」と回答するようにプロンプトから指示することが１つの手段です。AIの回答を常に検証することも重要で、専門的な内容については、他の信頼できる情報源と照らし合わせることをお勧めします。
02｜脱線（Drift）
chatGPT）長い対話の中で、AIは話題が変わってしまい、元のテーマに戻れなくなることがあります。これは「ドリフト（Drift）」と呼ばれる現象です。例えば、300-400のプロンプトを重ねると、最初に話していた話題に戻れなくなることがあります。これは、対話が進むにつれて、異なるトピックに移行してしまい、最初の話題の文脈を忘れてしまうことが原因です。
ドリフトの具体的な例として、AIがユーザーとの対話中に複数の関連トピックを扱う場合があります。例えば、最初はマーケティング戦略について話していたのに、途中でソーシャルメディアの運用方法や顧客分析に話題が移行してしまうことがあります。この結果、ユーザーが元の話題に戻りたい場合に困難が生じます。
ちとせ）とのことなんですが、個人的にはあまりこの症状は体験したことがありません。どちらかというと１つめの話題に固執して、２つめの話題に移行しないほうが多い気がしています。データ分析を依頼してファイルをアップロードしたときなど、ファイル１をずっと参照してファイル２，３を無視されることがありました。
対処法:
この問題を防ぐためには、会話の初めに明確な目的を設定し、その目的を定期的にリマインドすることが効果的です。「最初の状態に戻して会話を１から始める」や「この会話の目的を思い出して」といった指示を出すことで、AIが軌道修正しやすくなります。さらに、AIに対して重要なトピックやキーワードを優先的に記憶させるように設定することも有効です。ただし、場合によっては完全に元に戻すことが難しい場合もあるため、その点は留意が必要です。
03｜記憶喪失（Amnesia）
AIは長い対話の中で、最初に提供された情報やインプットした内容を忘れてしまうことがあります。これを「記憶喪失（Amnesia）」と呼びます。これは、プロンプトを重ねることで、以前の情報が記憶から消えてしまうことが原因です。例えば、ユーザーが以前に提供した詳細なデータや特定の指示をAIが忘れてしまい、再度同じ情報を提供しなければならないことがあります。
記憶喪失の具体的な例として、プロジェクトの進行状況についての対話が挙げられます。AIは最初の段階で詳細なプロジェクト計画を受け取りますが、対話が進むにつれて、その計画の詳細を忘れてしまい、新たに提供された情報のみを元に回答を行うことがあります。この結果、ユーザーは再度同じ情報を提供しなければならなくなります。
ちとせ）解説を読むとDriftとの違いがわかりにくいのですが、個人的に多発するシーンとしては、プロンプトを細かく指定している場合かと思います。
一度にまとめて指定するのではなく、細かい指示を重ねると１つ目の指示を忘れてどんどん突き進んでしまうことがあります。
対処法:
この問題を解決するためには、新しいものを試す、元の必要な情報を与えたプロンプトをコピーして再度与えることが有効です。また、定期的に重要な情報をリマインドすることで、AIが忘れずに情報を保持できるようにサポートすることができます。さらに、AIのメモリ管理を改善し、重要な情報を長期間保持するようにプログラムすることも考えられます。
＼さいごに／
記事の冒頭でもご紹介しましたが
現在楽天従業員からの紹介限定のキャンペーン実施中です📢
最大14,000円分のポイントがもらえる
大盤振る舞いキャンペーンですので、
ご興味をお持ちいただけましたらご申請くださいませ！
この記事が気に入ったらサポートをしてみませんか？