LLMから幻覚を取り除くのは不可能ということを数学的、論理的に証明した論文

2024年9月9日、Sourav Banerjee, Ayushi Agarwal, Saloni Singlaらの論文、「LLMs Will Always Hallucinate, and We Need to Live With This」（ https://arxiv.org/abs/2409.05746 ）が公開された。この論文はLLMの幻覚（hallucinations）は原理的に除去不能であることを証明した。

●概要

論文ではLLMの原理を分析し、すべての幻覚が構造的幻覚（ Structural Hallucinations ）でああり、生成AIの固有の構造に根ざしているため、なくすことはできないという結論に達している。簡単に言うと、それだけの話なのだが、関心ある方は原論文をご覧いただくとよいと思う。
チューリングマシン、ゲーデルの第一不完全性定理、停止問題などが出てくるので、こういったメタな話が好きな人は好きだと思う（チャイティンは出てこない）。

1．トレーニングデータは本質的に不完全である
　トレーニングデータは完全なものにはならず、LLMに100%の事前知識を提供する不可能である。

2．正確な情報検索は決定不能
　トレーニングデータが完全でも、LLMは100%の精度で正しい情報を確定的に取得することはできない。

3．意図の分類は決定不可能である
　LLMは、意図を100%の確率で正確に分類することはできない。

4．生成中に幻覚は避けられない
　事前のトレーニングでは、LLMが幻覚的な文を生成することを止めることはできない。停止問題と同じ。

5．LLMは自分が何を生成するかを予測できない

6．ファクトチェックの仕組みは本質的に不完全である
　どれだけファクトチェックをしても、すべての幻覚を完全に排除することはできない。

論文では、証明のため用いたプロンプトも提示されており、実際にやってみるとおもしろい。
Geminiに試したら、ふたつ目のプロンプトで発狂したっぽい。意味不明な回答だった。

●感想

LLMの幻覚が排除できるという発想がもとから理解できなかったが、わざわざ自分でそれを証明するほど暇でもなかったのでこの論文は助かった。
そもそもLLMは我々が共有している「現実」というものを理解できるはずがない。なぜなら、我々は経験的に「現実」を認識しているだけだ。だから個人によって認識している現実は異なるし、我々は自分が現実の世界にいるのか、マトリックスのような世界にいるのか区別もできない（これについては『リアリティ+(プラス) 上: バーチャル世界をめぐる哲学の挑戦』を参照）。

そもそも、ふつうに考えてLLMははデータを食って、データを吐き出す。質問に対して存在しない書名を答えるのも、存在する本の著者名を答えるのもデータの世界だけのことだ。そして、人間で言うところの推定、推測を行う。それもデータを出力する。推定、推測あるいは演算でも文章でもいい。存在しないものを出力する。それと存在しない書名を答えるのの違いはどこにもない。人間は、それが現実に存在するかどうかを基準にするが、人間は「現実」を定義できないのでLLMのは現実とそうでないものの違いを判別できない。
もちろんLLMにセンサーやカメラをつけて現実との接点を持たせることもできる。しかし、それも入ってくるものはデータにすぎない。前掲書にそのへんのくわしい分析が書いてある。

などということを考えているので、LLMを礼賛している人を見ると、カルトっぽくて怖い。
もちろん、私もLLM使ってますので、頭から否定しているわけじゃありません。

好評発売中！
ネット世論操作とデジタル影響工作：「見えざる手」を可視化する
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。