Towards Mitigating Hallucination in Large Language Models via Self-Reflection
本研究の学術的背景、研究課題の核心をなす学術的「問い」は、大規模言語モデルが医療分野の生成型質問応答システムにおいて「幻覚」と呼ばれる現象を起こすことがあるが、この幻覚をどのように特定し、理解し、軽減するかという点です。
本研究の目的は、幻覚の問題を解決するために、知識の獲得と回答生成を組み合わせたインタラクティブな自己反省の手法を提案することです。これにより、モデルの生成される回答の信憑性、一貫性、含意を向上させることができます。本研究の学術的独自性と創造性は、この自己反省の手法によって徐々により正確な回答を生成できるようになることにあります。
本研究では、医療分野における生成型質問応答システムにおける幻覚という問題を明らかにするために、広く採用されている大規模言語モデルとデータセットを使用して、関連する国内外の研究動向を分析しました。これにより、幻覚の原因や解決策を探求することができました。
本研究では、主に以下のことを明らかにしました。まず、幻覚がどの程度の頻度で発生するかを評価しました。次に、幻覚の原因を探求しました。そして、自己反省の手法を提案し、その効果を実験的に検証しました。具体的には、異なるパラメータを持つ大規模言語モデルと異なるデータセットを使用して、幻覚の軽減効果を評価しました。
本研究では、自己反省の手法の効果を自動評価と人間の評価の両方で検証しました。その結果、提案手法がベースラインと比較して幻覚の軽減に優れていることが示されました。