chatGPTの限界
chatGPTを活用したヤフー知恵袋の自動回答ツールを作成した結果、ベストアンサーを得ることができた一方で、質問に対して全く当てはまらない答えも生成されることがありました。これは、ChatGPTの限界に起因するものです。改めて、ChatGPTの制限とその扱い方について整理してみます。
1. リアルタイムの知識の欠如
知識のカットオフ: GPTモデルは特定の時点までのデータで訓練されています。そのため、例えば2021年時点までの情報しか持っておらず、その後の出来事や新しい情報にはアクセスできません。
今日、などの最近の質問は当然うまく返せないです
西田敏行さんの生まれた年を間違える事もありました
リアルタイム更新不可: インターネットを検索して最新の情報を取り込むことはできないため、GPTは常に最新情報を持っているわけではなく、現在の状況に基づいた回答ができません。
リアルタイムの事が気になる流動的なものにはめっぽう弱いです。例えば美容とか、プログラミングとか。
最新情報が弱いという認識のもと、質問を行うことでより良い回答にできる
2. 人間のような理解がない
本当の理解がない: GPTは、テキストデータからパターンを学んでテキストを生成していますが、人間のように「理解」することはできません。生成された回答は、あくまで確率に基づいた予測であり、実際に内容を理解しているわけではありません。
デートの悩み、人間関係、愚痴のような承認欲求があるような質問には、質問者の意図を汲み取らない答えを出すことがあります。
聞いてほしいだけ！わかってるけど、こうやって答えてほしい！にはchatGPTは向いてないですね
へそくりに対して、見るも恐ろしい法律の返答には冷や汗が出ました笑
コンテキストの限界: 長時間の会話や複雑なコンテキストを維持する能力が限られています。特に長い会話になると、以前のやり取りを忘れたり、矛盾した回答をすることがあります。
仕事や学習として長時間chatGPTを使うと、使う側のプロファイルが限界になり、最初の頃に言った事を忘れたりします
3. 不正確な情報や「幻覚」の生成
幻覚（Hallucination）: GPTは、時には正確でない、または全くの作り話の情報を生成することがあります。これを「幻覚」と呼びます。内容は信憑性がありそうに見えても、事実に基づいていないことがあります。
事実確認の欠如: GPTは、情報を独自に検証する能力を持っていないため、時には誤った情報を返すことがあります。
chatGPTが事実と違う回答する場合、その原因はchatGPTが参考にした過去文書が違うのかchatGPTが考えた妄想なのか、真相は定かではない
4. バイアスや倫理的懸念
バイアス: GPTはインターネット上の多様なデータから学習しているため、その中には偏見や有害な内容も含まれていることがあります。そのため、モデルがバイアスを含んだ回答を生成する可能性があります。
倫理的課題: 不適切な内容や有害な発言を生成することがあり、これを完全に排除することは難しいです。そのため、慎重な監視と改善が求められます。
皇室の質問に対しての答えなど、こちらが考察する部分なのかは思いました。答えはある程度丸みは帯びていましたが、バイアスや倫理感としては気になる部分がありました。僕自身が語るほどの知識がないというのもあり、chatGPTが正しい答えを言っているかも正誤判定はつきません。
5. 常識や世界の知識の欠如
限定的な推論能力: GPTは、深い推論や複雑な問題解決が得意ではなく、直感的な判断をすることが難しいです。時には浅い回答や意味が通らない回答をすることもあります。
常識の欠如: GPTは人間のような常識を持っていないため、日常的な知識や実際の経験に基づいた質問にはうまく答えられないことがあります。
専門的な知識や、こだわりの趣味、世界的に有名でない話はあまり質問者の満足のいく回答は出せないように見えました。
6. 世界を体験する能力がない
感覚や感情の欠如: GPTには「見る」「聞く」といった感覚はありません。物理的な世界を体験することができないため、実際の経験や感情に基づく回答はできません。
記憶の欠如: GPTは、会話ごとに独立して動作するため、過去の会話を覚えて次回に活かすことができません。すべてのやり取りはその場限りとなります。
chatGPTに感覚を求める人はいないと思いますが、世の中の疑問にはそういう質問は少なくありませんでした
7. 多タスクや微妙な問いへの対応が難しい
曖昧な質問への対応: 質問が曖昧だったり、解釈が複数ある場合、GPTはそのうちの1つの解釈を選んで回答することが多く、ユーザーの意図に合わない回答をしてしまうことがあります。
複雑なタスク: 単純な質問や1ステップで完結する問題には強いですが、複数のステップや高度な推論が必要な問題には対応できないことがあります。
chatGPTは一問一答がベスト。chatGPTに同時に複数聞いたりすると、うまく返せなかった場合の修正が非常に困難になります。そこは合っててここは違う、のような会話は非常に苦手に感じます
8. 入力の質に依存する
入力フレーズの影響: 入力された質問の表現や言い回しによって、生成される回答が大きく異なることがあります。少しの違いが、全く異なる回答を引き起こすことがあります。
曖昧さに弱い: 入力が曖昧であったり、十分なコンテキストがない場合、GPTは役に立たない回答を生成することがあります。
日本語のあいまいさはchatGPTは深く理解していますが、間違えることもしばしばです。間違えないようこちらがわかりやすく質問する必要があります
9. 創造性や独創性の限界
パターンベースの生成: GPTは、訓練データに基づいてテキストを生成しており、完全に新しいアイデアや創造的なコンテンツを生み出すことは苦手です。既存のデータの組み合わせで新しいテキストを生成することは得意ですが、全く新しい発想には限界があります。
洞察の欠如: GPTは、訓練データに基づく回答しか提供できないため、本当に革新的なアイデアや洞察を生み出すことはできません。
今回、僕が行った「ヤフー知恵袋のツールを作ってみる」というのは、おそらくchatGPTにどんな質問をしても辿りつくことはないと思います。ある程度の創造性をもって何かをしてみたい、気になる、そんな「自律性」に対して答えてくれる良いアシスタントだと感じました。
ヤフー知恵袋を通して多くの人たちがかかえるその疑問自体も、その人たちの「自律性」の一つであり、その「自律性」に高いベストアンサーに貢献しているchatGPTは良いツールと言えるでしょう。
また、chatGPTのミスのほとんどが人間が失敗するミスと似ています。そのchatGPTの性格(特徴)を理解したうえで、この便利なツールを使いこなすことで快適に疑問に答えてくれると思います。