Prompt Generate Train (PGT): A framework for few-shot domain adaptation, alignment, and uncertainty calibration of a retriever augmented generation (RAG) model for domain specific open book question-answering
1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は何ですか？
- 本研究は、企業が保有する文書コレクションに対してオープンブック型質問応答を行うための自己学習型モデルを開発することを目的としています。本研究の課題は、文書コレクションに対して適切な文脈を理解した質問応答を行うかどうかという点にあります。
2. 本研究の目的及び学術的独自性と創造性は何ですか？
- 本研究は、企業が保有する大量の文書に対する高い性能を発揮する質問応答モデルを開発することを目的としています。本研究では、従来の自己学習型モデルに加え、リトリーバー（情報検索器）や強化学習をモデルに導入することで、企業が保有する文書コレクションを扱う場合でも高い性能を発揮できるようにしました。
3. 本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは何ですか？
- 現在、企業は非常に多くの文書を保有しており、その文書から情報を効率的に収集する技術が求められています。従来の自己学習型モデルでは、テキストに応じた情報検索や質問応答を行うことができましたが、クエリを返す際の求められる文脈を理解することに課題がありました。本研究は、この課題を解決する目的で、リトリーバー、強化学習、自己学習型モデルを組み合わせることで高性能を実現しています。
4. 本研究で何をどのように、どこまで明らかにした？
- 本研究では、保有する文書に対して高性能な質問応答モデルを開発するためのフレームワーク「Prompt, Generate, Train (PGT)」を提案しています。このフレームワークでは、リトリーバーを組み込むことで、対象ドメインに適応した生成モデルを構築することができます。強化学習を用いて、対象ドメインに応じた質問応答を学習していくことで、従来の自己学習型モデルに比べ、高い精度を実現しました。
5. 本研究の有効性はどのように検証した？
- 本研究で提唱したフレームワークが、GPT-4に近い精度を発揮できることが示され、質問応答の自動化に向けた有用性が確認されました。本研究においては、Flan-T5 XXLというLLMを用いた生成パイプラインの構築によって、高品質な合成データの生成と、その合成データを用いたモデルの学習が実現されています。