AIのハルシネーション対策をAIによるファクトチェックで対策する
[読了目安: 4分]
NO AI(人間が書きました✍️)
AI系ポッドキャスト(耳で学ぶAI)運営の矢野哲平(@robothink_jp)です。この記事ではAIのハルシネーション対策にAIを使ってみてはどうか？という提案記事です。
AIを使う中でこんな課題を感じていました。
「AIの生成した回答に誤りが含まれているか確認するのが大変だ」
こうした課題に対してAIを使ってみた結果、有用だったので書き記したいと思います。
検索AIを使ってファクトチェックする
やることはいたってシンプルです。
AIが生成した回答に対して検索AIを使いファクトチェックするだけです。
例を挙げるとChatGPTが生成した回答をPerplexityを使ってファクトチェックするようなイメージです。
この時にPerplexity以外の検索AIを複数組み合わせたり、異なるプロンプトで複数のチェックをする方法も有用です。LLM Chainingのようなアプローチですね。
ここでなぜ検索AIを使うのか？というと知識のカットオフに影響されにくいからです。
ご存知のようにAIのモデルには知識のカットオフという概念がありまして、ある期間までしか学習していません。
例えば、GPT-4oでは2023年10月が知識のカットオフとなります。
実際はインターネット上の情報を参照するので最近では知識のカットオフを気にする機会も減りました。
ですが、生成した回答に微妙に間違いが含まれていることもあります。
これはChatGPTに限らずPerplexityなどの検索AIにも言えることです。
誤りをゼロに近づけるため複数のAIを組み合わせて情報の正誤を確認していこうというのが主旨です。
実装
では試していきましょう。次のような2つの誤りがある文章を用意しました。
GeminiからDeep Researchという検索機能がリリースされました。
アメリカでは利用できますがまだ日本では利用できません。
なお、この機能は無料ユーザーでも利用することができます。誤りを含む箇所は2行目と3行目です。
Deep Researchは日本でも利用できるようになりました
Deep Researchはもとから無料ユーザーは利用できません
2は今回のために私が用意した文章ですが1に関しては実際にAIが生成した文章です。「日本でも利用できるようになった」という最新情報に対応しきれなかったためと思われます。
この誤りのある文章をFelo AIにファクトチェックしてもらいます。(補足: Felo AIは国産の検索AIで最新情報への対応など情報精度が高いです)
次のトリプルクォーテーションで囲まれたテキストをインターネットの情報を参考にファクトチェックしてください。
誤りの可能性があれば理由とセットで指摘してください。
"""
GeminiからDeep Researchという検索機能がリリースされました。
アメリカでは利用できますがまだ日本では利用できません。
なお、この機能は無料ユーザーでも利用することができます。
"""#Feloの回答結果
誤りの指摘と訂正
1. 日本での利用可否について
誤り：「まだ日本では利用できません」
正しい情報：2025年1月15日にGoogleが正式に日本語対応を発表し、現在は日本でも利用可能です。
2. 利用条件について
誤り：「無料ユーザーでも利用することができます」
正しい情報：Deep Researchは有料版のGemini Advanced（月額2,900円）でのみ利用可能な機能です期待通りの結果です。2つの誤りをファクトチェックして指摘してくれました。
検索AIの比較
同じタスクを以下の検索AIでも試してみました。
ChatGPT Search
Gemini
Perplexity
Genspark
結論を言うと全ての検索AIが正解しました。主観にはなりますが1番好ましいと思った回答はFelo AIでした。
もちろん以下のような懸念はあります。
対象となるテキストが長くなれば精度は落ちるのでは？
結局はインターネット上の情報を参照するのでそこが間違えていれば間違えるのでは？
ファクトチェックをしたから100%正解！とは言い切れないですが、複数のAIを組み合わせて多面的にチェックすることでミスを減らすことはできると思います。
発展(プロンプト)
例で使った簡易的なプロンプトを改良してみました。
#指示
トリプルクォーテーションで囲まれたテキストが事実に即しているかをチェックし、誤りや不正確な情報があれば指摘してください。
##確認方法
信頼性の高い公的機関・学術論文・専門家の見解・権威あるニュースソース等を優先的に参照し、テキスト内の事実関係を照合してください。
##出力形式
誤りや疑わしい点が見つかった場合は、以下の形式で列挙してください。
---
指摘内容: どの部分がどのように誤っているのか
引用箇所: 対象となるテキストの該当箇所（可能であれば引用）
正しい情報または根拠: 正しい情報、および参照した出典や信頼できるソース
確信度: 「高」「中」「低」のように分け、誤りである確信度を示す
---
##追加指示
引用箇所はなるべく正確に示してください（必要に応じて該当のセンテンスを抜き出す）。
もし情報が不足していたり、明確に判断できない場合はその旨を記載し、追加の調査が必要な点を示してください。
事実ベースで評価してください。個人的意見や憶測は避けてください。
"""
GeminiからDeep Researchという検索機能がリリースされました。
アメリカでは利用できますがまだ日本では利用できません。
なお、この機能は無料ユーザーでも利用することができます。
"""#Feloの回答結果
このテキストには複数の事実誤認があります。以下に詳細を示します：
指摘内容1: 日本での利用可能性について誤り
引用箇所: "アメリカでは利用できますがまだ日本では利用できません"
正しい情報: Googleは2025年1月15日に日本語でのDeep Research利用を正式に開始しました
確信度: 高
指摘内容2: 利用条件について誤り
引用箇所: "この機能は無料ユーザーでも利用することができます"
正しい情報: Deep Researchは有料版のGemini Advanced（月額2,900円）ユーザーのみが利用できる機能です
確信度: 高
指摘内容3: リリース時期について不正確
引用箇所: "GeminiからDeep Researchという検索機能がリリースされました"
正しい情報: Deep Researchは2024年12月11日に英語版が最初にリリースされ、2025年1月15日に日本語版が公開されました
確信度: 高
これらの誤りは、複数の信頼できるソースから確認できる情報と矛盾しています。Deep Researchは現在、日本語でも利用可能ですが、Gemini Advancedの有料サブスクリプションが必要となります。指摘内容3は不要な気もしますが、こちらのプロンプトも悪くないと思います。
発展(フロー)
今回は手動でプロンプトを入力していますがAPIを使って自動化することもできそうです。
ちょうど最近、Perplexityが良い感じのAPIをリリースしたのでファクトチェックの自動化も面白そうです。
ちなみにFelo AIにはまだAPIはありません。
以前、中の人にインタビューした時に2025年前半に個人にも提供予定と話されていたので近々公開されると思います。
例えば、Google Docsで作成したドキュメントを自動的にファクトチェックにかけるような処理も実装できます。
この時に誤字脱字のチェックも合わせると文書作成のタスクも効率化できるのではないでしょうか。
この辺は自動化ツールのMakeを使えば簡単に実装できます。
記事を書いている途中で気付きましたけど、生成AIの回答以外にも人間が書いた文章のファクトチェックにも使えますね。
ドキュメントの作成が多い人はぜひチェックしてみてください✌️
【note読者限定】生成AIのおすすめツールは？
生成AIは何を使えばいいか分からない
もっと業務効率化に貢献するツールを知りたい
ChatGPT以外のAIツールを知りたい
こういった声に応えておすすめの生成AIツールを解説する資料を制作しました。よりAIの情報をキャッチアップしたい人はチェックしてみてください。
noteでも月に20本ほどAI関連の記事を投稿しています。フォローよろしくお願いします😼