ハルシネーションと対策と私

社長から出されたお題：ハルシネーション対策

こんにちは！、経験ゼロから始めるおじさん社員こと、ふるちゃんです。
社長から「このお題の理解を深めて」って指令をうけ、情報収集してた内容が役に立てばと思い、記事にさせて頂きます。
まとめ記事チックですが、初心者の備忘録を兼ねますのでご容赦頂ければと。

自分がハルシネーションを解決したいと思う局面

とりあえずジブンゴトの第一歩としてイメージしてみました。

私は他にデジタルファブリケーションを中高生に教えるイベントでサポーター（≒先生）をやってたりもするのですが、昨今のいわゆる「探究的な学び」にはそれ相応のサポートする大人が必須。
3～4人にサポート人が必要で、昭和な50人クラスで1名の先生とかスクール形式のノリは絶対無理だなって感じです(ヾﾉ･∀･`)ﾑﾘﾑﾘ

翻って、じゃあ生成AIで解決しようと真剣に考えると、「単純な問いは生成AI自動対応化して、複雑な問いのみサポーターが受ける体制」はどうかとまず思いつきます。
かといって、ハルシネーションも激しそうなので、「学生に必ず最初にChatGPTに聞いてから質問に来てね」とは言えない…。
これがスタートになるかなと思いました。

結局、「聞きたいときに正しい答えをくれる存在」が欲しい

実は学生の質問の1次受けをするのって難しいんですよね。
考えてみると、学生と言うこともあり、本質的に「単純な問い」であっても以下の困難さを伴う可能性大。

• 学生が問いを正確に言語化できていない可能性

• 専門知識としてマニアックな可能性（工作機器の操作　等）

• 広範な分野をカバーする必要がある可能性（スキルセットの時間と制作の時間で聞きたいことが変わる　等）

優秀なチャットボットを作る初手でいきづまる初心者

ありがちではありますが、欲しくなるのは「デジタルファブリケーションの専門性に秀でながらも博識、かつ質問の曖昧さにも対応する優秀な生成AIチャットボット！」とかなるわけですよね。

ここまできて、正答率を高める事前データドキュメントを書くことすら超難しいのではないか、どういう仕組みで環境構築・検証・改善を進めるのか、言うは易し、叶えるは難しと気付きます。
妥協の産物として、「こういうシチュエーションでは、こうChatCPTを使って、webで自分で一つ一つ正しいか検証しよう」みたいなオペレーション全振りのノリでいくと、よく混乱を招く状況が生まれます。

今回の学び：ハルシネーション対策を突き詰めるとエージェント化に

前置きが超長くなりましたが…。
そんな心境の私にぴったり、どう環境構築して検証、改善するのかを実行してレポートされているnote記事を見つけましたのでご紹介します。

同じ問いに対する複数の生成AIを比較して正答率を検証や、正答率の高い参照データ作り、実際のRAG環境構築とか本当に様々なタスクがあることを思い知らされたのが本記事下部のKan Hatakeyamaさんのnote記事です。

ファインチューニングとかRAGで対策って言葉はネットでハルシネーション対策を検索すると何度も出てくるので、ほぇーと思いながら概要だけで理解したつもりになっていました…。
何をして実装していくかというイメージが湧いておらず、何ならAPI使わずに、ChatGPT等の中で必要知識のメッセージ送ったり、ものによっては「●●を考慮して答えて」ってやればいいのではと思っていた始末。
（昔の自分を説教してやりたい…）
上記の記事を読むと、どんな形で実証と検証、改善を進めていくのかが具体的にイメージできます。

結局、広範囲をカバーしようとすればRAGは膨大になっていく。
膨大なRAGを質問に対応して検索して、正しい知識を引っ張ってくるためにもLLMを活用して質問を理解して…
って幾重にも生成AIを活用していく形になっていく必要も…（汗）

結びに

ハルシネーション対策って一概に言っても、本当に途方もない検証と改善の繰り返しなんだなと思い知らされました。
社長から求められたレポートには1ミリもなってない気がしますが、今日の学びとしてここに記事にさせて頂きます。

※私に力不足で記載や理解に誤りがあるかもしれません。その場合は温かくご指摘頂けますとありがちたいです。

＜弊社へのご相談・お仕事のご用命等は以下でご連絡お願い致します！＞
info@techno-pedia.com