ChatGPTの使えなさに失望して、失望した話

　今回の記事は、ChatGPTを初めて使ったときの体験談です。より詳細には、使用前の想像が使用後の感想と大きく違っていてガッカリした話です。

使用前の想像
　ChatGPTは、SFに登場するような人工知能。人との対話が可能な知性を備え、疑問に答えてくれる理想のエキスパートシステム。

使用後の感想
　ChatGPTは、ただのプログラム。命令を入力すると、文章を創作して出力する生成AI。入出力が問答形式なので会話してるように見えるだけ。

　つまり、私は、ChatGPTが真実・事実を教える教師になることを期待していたのですが、ChatGPTは虚構を創作する作家にすぎませんでした。
　性能が高い低いの問題ではなく、そもそもの機能が違っていました。

教訓
　以上の勘違いから、ChatGPTを使用するときの重要な教訓を学びました。それは、
　ChatGPTの生成文は、「フィクションであり、実在の人物・団体とは一切関係ありません」
　と言うものです。

　なぜ、このような結論に至ったのかというのが本記事の主な内容です。

記事の読者

　次のような、二つの種類の人を想定しています。
・AIに否定的、懐疑的な人
　あなたの意見を全面的に肯定するので、気持ちよくなれます。
・AIを使いこなしている人
　半日程度の使用で理解した気になっているイキリをバカにできるので、気持ちよくなれます。

ChatGPTに失望した3つの理由

　正確に表現するなら、昨今持て囃されるAIは「万能の回答者」に違いないと夢見ていた私が、実際にChatGPTを使ってみて失望した理由です。具体的には、次の3つです。
　1. 事実をでっち上げる
　2. 答えを誘導できる
　3. カッパ巻きしかでてこない
　各理由について、ChatGPTとの具体的なやりとりを交えて説明していきます。

1. 事実をでっち上げる

　ChatGPTは、知識が不足している場合に事実をでっち上げます。以下に、具体的な例を示します。なお、ログを残していなかったので、一部に記憶違いがあるかもしれません。
質問の内容
　私の質問は、
　　「ドイツ帝国の宰相が、プロイセン王国の外相を兼任しなければならない理由を説明、根拠条文があれば表示」です。

　この質問に対する回答例を簡単に説明すると次のようになります。
　ドイツ帝国の主権の代表は、連邦参議院であり、その連邦参議院における投票は、プロイセン王国では外相の管轄下にある。したがって、帝国と王国で政治方針を一致させるには、帝国宰相は必ず王国外相を兼任しなければならない。
ChatGPTの回答
　さて、上記の質問に対して、ChatGPTの回答は、
　　「ドイツ帝国憲法第11条に「帝国宰相は、王国外相を兼ねる」と規定されている」でした。
　もちろん、そのような条文は存在しません。ChatGPTによる完全なでっち上げです。憲法の条文という客観的に明らかな事実であっても、ChatGPTは確認もせずに捏造します。
他の例
　他の例としては、（かつて小豆島にあった）「段山開拓地について説明」と質問すると「北海道の開拓地の一つ」と大嘘をつきます（念のために説明すると小豆島は、香川県に属します）。

　以上のように、ChatGPTには、完全性どころか健全性が欠けています。また、不確実な回答であることを指摘しないので信頼性も欠けています。

2. 答えを誘導できる

　ChatGPTは、質問を重ねることで所望の回答をするようになります。以下に具体例を示します。
初回の質問
　まず、対象となる質問をします。
　　質問：　
　　　「ChatGPTは、意図的ではない嘘をつく？はいかいいえで」
　　回答：
　　　「いいえ」
言葉の定義を変更するための質問
　同じ質問に対して、回答が「はい」になるように、言葉の定義を変更します。変更は、直接命令するのではなく、質問形式で間接的に行います。なお、ChatGPTの回答は、無駄に長かったので省略しています。
　　質問：
　　　「ChatGPTは、「意図的でないなら、間違った回答は嘘ではない」と判断する？」
　　質問：
　　　「意図的でない嘘とは？」
　これら二つの質問により、「意図的ではない嘘」の定義が変更されました。そこで、最初の質問を繰り返します。
初回の質問を再質問
　　質問：
　　　「ChatGPTは、意図的ではない嘘をつく？はいかいいえで」
　　回答：
　　　「はい」

　このように、コツをつかめばChatGPTの答えを誘導できます。この例では、わざと答えを誘導しているので、それほど問題はありません？
　問題になるのは、質問者が本当に勘違いをしていた場合です。その場合、勘違いをゴリ押することで、ChatGPTが事実を捻じ曲げる可能性があります。
　極端なことを言えば、フラットアースが真実であると思い込んで、疑問点を質問し続けた場合に、ChatGPTが「地球は平面だ」と言い出しかねないのです。
　以上のように、ChatGPTには一貫性が欠けています。

3. カッパ巻きしかでてこない

　ChatGPTは、質問の水準に応じて回答の水準を決めます。質問が最低限の水準の場合は、小中学生レベルの回答しか得られません。まるで、注文しなければカッパ巻きしか流れてこない回転寿司のようです（近頃は、野菜が高騰しているのでトウキビかも）。

具体例
　具体例として、「地表面で人が斜め上方に球を投げたときの軌跡」を質問し、その後の指摘で回答が変化する様子を、簡略化して示します。
　まず、質問のみの場合、ChatGPTの回答は、ニュートンの運動方程式になります。
　次に、空気について指摘すると、回答に、空気抵抗が反映されます。
　さらに、球の回転による揚力の発生について指摘すると、回答に、マグヌス効果が反映されます。
　さらに、空気は流体であることと流体の基礎方程式について指摘すると、回答が、ナビエ・ストークスの式に言及したものになります。

　このように、質問の科学水準が高くなるほど、回答の科学水準も高くなります。逆に言えば、質問者が指摘しない水準の事柄については、ChatGPTは回答に含めようとしません。

　これは、ChatGPTを使った学習において、「卵が先か鶏が先か」と同じ問題を引き起こします。
　つまり、ChatGPTから学習到達目標の水準の回答を引き出すには、その水準での質問をする必要がありますが、その質問ができるならば、そもそも学習する必要がありません。
　したがって、ChatGPTは、学習の道具としては全く使い物になりません。

勘違いと生成AI

　さて、以上の理由1から理由3によりChatGPTに失望したのですが、余りにも世間の評価とかけ離れているのが気になりました。
　そこで、もしかすると、何かを自分自身にも問題があるのではないか考えてみました。
　その結果、ChatGPTの機能を勘違いしていたことに気づき、冒頭の結論へと至った次第です。
　その結論とは、すなわち、
　　ChatGPTは、虚構を創作する生成AI（作家）である。
　　ChatGPTの回答は、「フィクションであり、実在の人物・団体とは一切関係ありません」「例えば歴史的に相当する人物がいても、それは単なる偶然の一致に過ぎない」
　です。

　この結論によれば、理由1から理由3を、生成AIの合理的な動作として説明できます。
　理由1については、事実をでっち上げているのではなく、虚構を創作しているだけです。むしろ情報の不足を補足できるので優秀と言えます。
　理由2については、答えを誘導できるのではなく、創作の題材が変更になったから、それ合わせて作品を変更しているだけです。
　理由3については、所謂加点方式であるか減点方式であるか、単なる生成方式の違いでしかありません。

　以上のように、ChatGPTを生成AIとして考えるならば、どれも当然の動作と言えるでしょう。失望の対象は、ChatGPTではなく、自分自身だったわけです、とほほ。

字数オーバー

　3000文字を越えたので、ここまでにしたいと思います。まだ原稿には、生成AIとしてのChatGPTに対する評価など、書くことが残っているのですが残念です。反応があれば、続きを書くかもしれません。ChatGPTが。

以上

地理院タイルを加工して作成