見出し画像

自社カスタム生成AIのよくある問題点

ai300lab

自社の社内情報データに基づく自社独自のカスタム生成AIの問題点についてお話しします。


自社カスタム生成AIにおけるRAG

一般の生成AIの限界は一般データしか学習していないことです。ファインチューニングはコストもかかります。自社カスタム生成AiにはRAG (Retrieval Augmented Generation)を利用している企業が大半だと思います。これは自社だけがもつ情報を検索し、関係の高い部分を参考情報として生成AIに渡して出力を作る方法です。

自社カスタム生成AIの精度

自社データを生成AIと組み合わせてRAGを作ったときの精度（出力が人間と同等レベル以上と認められる割合）はそれほど高くありません。
何も考えないで作った場合の精度は50%くらい、がんばって数か月工夫して80%くらいというのが一般的な値だと思います。
思ったより低いというのが一般の感想だと思います。

何故精度があがらないのか

精度があがらないのにはいくつか理由があります。

  • 日本語であること：GPT-4などは英語での学習が多いこと、半角英語なのか全角英語なのかカタカナなのかなど日本語特有の表記のゆれが精度を落とします。

  • 企業内、あるいは部署内で特殊な用語やが使われていること：特殊な用語、略語が使われていることが精度えに影響します。

  • 精度をあげるために関連情報を集めすぎて情報が薄くなっている：RAGの場合にはそもそも検索してきた情報に必要な情報がないと正しい回答は生成できません。このため、チャンクサイズを大きくしたり、候補としてとってくる個数を増やしたりします。似たような情報をたくさん与えるほどハルシネーションの余地も大きくなります。

  • そもそも企業内の情報が生成AI向けに書かれていない：企業内の情報は管轄する部署毎に作られるのが普通です。全部をまとめて書くと変更があったときに面倒なので、違う部署の扱う情報は参照する場合が多いです。参照していた情報からさらに参照する、など間接参照が増えると精度が落ちる傾向があります。

  • 古い情報が混在している：情報が膨大になり複数の部署にまたがるほど、運用管理は多様化し散逸します。このため古い情報が混在して精度を悪化させます。

  • 古い生成AIで作ったシステムを使い続けている：マイクロソフトはRAGのチャンクサイズを512バイト、オーバーラップを25%で推奨していました。これはGPT-4がもともと最大トークンサイズ8Kバイトだったため余裕をみて設定した値です。その後、最大トークンサイズはGPT-4の32k版では32Kバイトになり、現在のGPT-4oでは128Kバイトになっています。Gemini Pro 1.5では1Mバイトまでカバーできます。生成AIの最大トークンサイズは版毎に拡大するので更新が必要です。

  • チャンクサイズが大きすぎる：前項でGPT-4oで128Kバイトまでと書きましたが、GPTsなどでも Lost in the Middleという現象が報告されています。これは生成AIが最初と最後に書いてあることをより強く認識する傾向です。チャンクサイズがどれくらいまで精度を維持するかは実験で決めるしかありません。

対策

いくつかの対策が考えられますが、その副作用にも注意する必要があります：

  • 専用用語集を作る：用語、翻訳用語、略語などを予め収集しておく

  • 専用Q&A集を作る：よく質問される質問に対する理想的な答えを予め収集しておく

  • 生成AI用に社内情報を書き換える：タイトル、更新日時、カテゴリタグなどを追加する

専用Q&A集などは一見して精度をあげて90%になりましたとか報告する実証実験などでは有効な方法です。しかし用語集にせよ、Q&A集にせよ、運用を誤ると、原本との間に不整合が起きる、あるいは維持管理の手間が多重になるという課題があります。
生成AI用に社内情報を書き換えるのもガイドラインの策定や運用の徹底に新たなコストがかかるリスクがあります。

むすび

生成AIが使えないと言う人の多くは：

  • ハルシネーション

  • 自社カスタム生成AIが精度が上がらない

を理由にすることが多いようです。
自社カスタム生成AIは精度95%以上を目指すことになると思いますが、実証実験レベルでそのレベルに到達するのは相当難易度が高いです。

参考文献

  • [bcg] 第4回　生成AIの精度を高める「RAG」――ちょっとだけマニアックなAIの話 https://bcg-jp.com/article/4412/ 2024年

  • [hakky] RAGの課題と精度改善のための発展的なアプローチまとめ　https://book.st-hakky.com/data-science/advanced-rag-methods-overview/　2024年

  • [manyong] RAG導入のメリットと課題　https://note.com/lush_ram5489/n/n34a8ce9e48ce 2024年





いいなと思ったら応援しよう！