データサイエンスニュース(23/12/26) : "AI幻覚とディープフェイクの未来: 技術の進化とその課題”

AIが見ている幻覚は何なんでしょうか？

さまざまなチャットAIがどれくらい幻覚を見るのかをランキングにした「Hallucination Leaderboard」が公表される

AIが幻覚を見るとかいうと、某SF小説のタイトルを思い出しますが、ハルシネーションの問題はChatGPTがサービス始まって以降もよく言われる問題ですね。

結果は下の表の通り。GPT 4が正確さ・幻覚率の低さの両方においてトップのスコアを獲得し、GPT 3.5やGoogle Gemini Proが続きました。なお、要約後の文章があまりにも短い場合は「解答せず」という扱いになっているとのこと。

ということで結果が表にまとまっていますが、GPT3.5で幻覚率が3.5%というのは大分体感と違う気がしますね。
GPT4になって大分改善された気はしますがそれでも10%くらいはある気がしますね。3.5だと30%くらいはありそう。
まあ、英語での精度だと違ってくるのかもしれませんね。
そして、同じ条件でも、Google Palmの幻覚率の高さはちょっとまずいですね。
Gemini Proになってから大分改善されていますが、GPTのモデルに比べるとまだまだこれからって感じでしょうか。

---

そしてハルシネーションを解決しても、まだまだ課題は山積みですね

ディープフェイク動画の脅威とそれを見破る方法・技術を詳解 生成AIを使った本物そっくりの動画はこうして見破る | JBpress (ジェイビープレス)

「AIガバナンス」の提供ツールは逆効果？　米調査団体「多くのガバナンスツールに欠陥がある」と指摘

ディープフェイクの問題は、これからもいたちごっこになりそうな気はしますね。
今のディープフェイクを見破る技術ができても、また別の偽装する技術とかなりそうです。
AIガバナンスも、とりあえずルールを作っているという状況ですが、運用と改善が続いていくんでしょうね。
この辺り、２４年にはどうなっていくか注目ですね。