「幻覚」「作話」こそ大規模言語モデルの本質である。高性能なAIであるChatGPTに要約をやらせるリスクについて

大規模言語モデルであるChatGPTの特徴の一つに「幻覚」「作話」があります。
AIが知ったかぶりをして嘘をつくことを「幻覚」「作話」と呼びます。
AIは幻覚をみているわけではないので、「作話」とするのが正しいような気がします。

以下に作話の例を示します。

センズリ汁というのは「あかちゃんのもと」であり、植物の汁ではありません。最初のプロンプトでミスリード気味に話をしましたが、普通の人だったらこの話がおかしいことにすぐ気が付くでしょう。こんな盛大な「作話」はしないはずです。しかし、ChatGPTは「作話」をし、そのまま嘘だらけの「作話」を続けてしまいます。

近年、AIは進歩し、一見人間のような出力をするようになりました。そのため、多くの方が、AIの中に知性を見出し、AIに様々なタスクを肩代わりさせるようになりました。
ChatGPTには知性などありません。全てのプロンプトにおいて「作話」を行い返答しています。ただ、その「作話」によって作り出された出力が真実のように見えてしまうため、人はAIを信用するのです。

ChatGPTに要約をさせる方が多く見受けられます。しかし、安易にAIに要約をさせるのは避けたほうが良いかもしれません。
ChatGPTは常に「作話」をしています。綺麗に要約されたように見える文章が出力されたとしても、それは学習過程で覚えた一節を確率的に並べただけの作話にすぎません。
翻訳であれば、ほぼ同等の文章量があり、それを人間が読むことで間違いを見つけることができます。
プログラムを出力させた場合、出力されたコードを動かしてみることで間違いを見つけることができます。
しかし、AIに要約をさせる人は、原文を読まないことが多いです。また、出力された要約は原文に比べて情報量が少なくなっています。ですから「作話」による間違いに気が付くことができません。

今後AIは飛躍的に発展し普及し、多くの人が使うことになります。AIを使用するためには「AIの出力が正しいかどうかを判断するコスト」を支払う必要が出てきます。ですが、それを、AI以下の能力の人は支払えません。そうなると、AIの「作話」を見抜けないまま「作話」の中の世界で生きる人間が増えていくかもしれません。

まとめ
論文とかは原文を読もう。
自分が使ってるものがどんなふうに動いてるか考えてみよ