RAGシステムの失敗パターンを社内規程に例えてもらう

こんにちは。aliceです。
久しぶりのnoteではないのですが、サムネの変え方がわからず焦りました。

RAGを作りたいなぁと思っていたときに教えてもらった「RAGシステムの失敗7パターン」

Seven Failure Points When Engineering a Retrieval Augmented Generation System

ChatGPTに翻訳してもらったのですが、さっぱりわからなかったので、社内規程バージョンにしてもらいました。

どこに書いてあるかわからなくなりそうなので、noteにメモします📝

RAGシステムの失敗点

1.インデックスの失敗

適切なチャンク化ってどのくらいだろう？？

2.クエリ処理の失敗

これを自分でやるって結構しんどくないですか？
自動でできないのかな？

3.文書再ランキングの失敗

再ランキングアルゴリズム？？

4.コンソリデータの失敗

コンソリデータ？

どうやって作るの？
というか、もう、人ってすごいなぁと思います。

5.回答生成の失敗

ノイズのフィルタリング、どうやってするんだろう？

6.システムのテストと監視の失敗

やっぱテストって大事なんだなぁ。

7.運用中の検証の失敗

これを読んでフィードバックって大事だなと思って、入れてみました。
でもフィードバックになっているのかがわからない。

教訓と今後の研究方向

1.チャンク化と埋め込み

適切なチャンク化ってどのくらいだろう？？（2回目）
これを数値で表したりするってどういうことだろう？？

2.RAG vs ファインチューニング

ファインチューニングしたら重くなるよなぁ…。

3.RAGシステムのテストと監視

やっぱり何をするにしてもチェック⇒反映は必要なんですね。
そんな気がしてきました。

いつかこのメモを活かす日がきたらいいなぁ。