見出し画像

SimRAGによる専門分野特化型LLMの自己改善手法：医療・科学分野での高精度質問応答を実現するための二段階ファインチューニングとフィルタリング

IT-daytrading

SimRAG (Self-Improving Retrieval-Augmented Generation) は、Retrieval-Augmented Generation (RAG) の技術を用いて、特に医療や科学といった専門分野への適応を可能にする手法です。このアプローチのポイントと効果について、詳しく解説します。

1. 自己改善型の質問応答生成

  • ポイント: SimRAG の最大の特徴は、LLMが自己学習を通じて、専門分野に適応するための疑似ラベル付きデータを自動生成できることです。まず一般的な指示フォローや質問応答データで基本的な能力を獲得し、その後、未ラベルの専門分野データを利用して高品質な質問応答ペアを生成します。

  • 効果: 未ラベルのデータから質の高い質問応答ペアを生成できるため、従来の手動ラベリングに比べてコスト効率が良く、迅速なデータ生成が可能です。また、専門分野特有の知識が必要な質問応答タスクでも高い精度を維持できました。

2. 二段階のファインチューニング

  • 第一段階（一般的な質問応答スキルの向上）: 最初の段階では、LLMに対して、一般的な指示フォロー、質問応答、および検索関連データを使用してファインチューニングを行います。この段階では、モデルに文脈を理解し利用する基礎的な能力を身につけさせます。

  • 第二段階（専門分野特化のファインチューニング）: 未ラベルの専門分野のデータを用いて、モデルが質問とその文脈に基づく回答を生成する自己改善型のデータ生成を行い、さらにファインチューニングします。これにより、モデルが特定の専門分野においても精度を発揮するように適応されます。

  • 効果: 実験により、第一段階だけで得られる精度に比べ、第二段階まで実施することでさらに2.21%から3.5%の精度向上が達成されました。特に専門分野での質問応答タスクに対する精度が顕著に向上しました。

3. フィルタリングと多様性の向上

  • ポイント: SimRAGでは生成された疑似質問応答ペアを「ラウンドトリップ整合性フィルタリング」という手法で厳密にフィルタリングします。具体的には、生成された質問に対して検索エンジンで上位に表示される文脈が実際に回答を含む場合のみデータとして採用します。また、多様な質問形式を導入し、短文QA、選択肢形式QA、主張の真偽判定タスクなどを含めて、モデルが異なる質問タイプにも対応できるようにしています。

  • 効果: フィルタリングを行うことで、質の低い質問応答ペアを排除し、高精度なトレーニングが可能になりました。さらに多様な質問形式を用いることで、モデルの汎用性が向上し、異なる形式の質問にも柔軟に対応できるようになりました。これにより、生成されたデータの精度と実用性が飛躍的に向上し、特に難易度の高い質問形式にも強い性能を発揮しました。

4. 専門分野ごとの実験結果

  • ポイント: 医療、科学、コンピュータサイエンスの3つの分野で、11種類のデータセットを用いた実験が行われました。これらの実験では、従来の一般的なLLMや他のRAG手法と比較して、SimRAGが最大8.6%の精度向上を示しました。

  • 効果: 専門分野に特化した質問応答のタスクでSimRAGが他のベースラインモデルを上回る成績を収めました。例えば、医療分野においては、生成されたデータの質が高く、RAGに適した質問応答モデルとしての有用性が示されました。また、コンピュータサイエンスのような新興分野においても、SimRAGが安定した性能を発揮し、将来的な応用可能性も見込まれています。

5. システム全体の自己改善効果

  • ポイント: SimRAG の自己学習型アプローチにより、モデルが新しいデータに基づいて自己改善を行い、連続的に専門分野での精度を向上させられる仕組みを持っています。

  • 効果: このアプローチにより、特定分野における質問応答タスクでの精度が高まり、特に従来の手法では扱いにくかったドメインシフト問題に対しても強い適応力を示しました。また、GPT-4などの大型モデルを使用せずに高精度の疑似データを生成できるため、コスト効率の面でも優れたアプローチとされています。

https://arxiv.org/pdf/2410.17952

図1：提案手法SimRAGの二段階ファインチューニングフレームワーク。まず、モデルは検索関連データでファインチューニングされます。その後、候補となる回答をコーパスから抽出し、文書と回答の両方を条件に候補質問を生成することで、疑似ラベル付きタプルを生成します。LLMはさらに、ラウンドトリップ整合性でフィルタリングされた疑似ラベル付き例でファインチューニングされます。

この図は、SimRAG (Self-Improving Retrieval-Augmented Generation) の二段階のファインチューニングプロセスを視覚化しています。各ステージの目的とプロセスが示されています。

Stage-I: Retrieval-oriented Fine-tuning

  • 概要: この段階では、LLM（大規模言語モデル）を一般的なデータセットでファインチューニングし、基本的な質問応答能力を向上させます。以下の3種類のデータを使用します。

    1. General SFT (Supervised Fine-Tuning): 一般的な指示フォローを学習。

    2. General Domain QA: 一般的な質問応答データを使って、基本的なQAスキルを向上。

    3. Retrieval-related tasks: 検索機能強化のため、以下のタスクでLLMをトレーニング。

      • Answer Generation: 文脈に基づいて回答を生成。

      • Query Generation: 生成した回答に対する質問を作成。

このファインチューニングにより、モデルは指示に従って文脈を活用し、適切な回答を生成する基礎スキルを身につけます。

Stage-II: Domain Adaptive Fine-tuning with Self-Training

  • 概要: 専門分野でのタスクに特化するための自己学習段階です。未ラベルのドメインデータを使ってモデルをさらに適応させます。

    • Answer Generation: 専門分野の文書（例：歯科の構造に関する情報）から、回答の候補となるスパンを抽出（例：「dental hard tissue」）。

    • Query Generation: 抽出した回答に基づき、対応する質問（例：「Where does Caries cause structural changes?」）を生成。

  • Pseudo-labeled tuples ( T' = (q', D', a') ): 生成した質問・回答ペアと文脈を組み合わせて擬似ラベル付きデータを作成します。このデータを用いて、専門分野特化のトレーニングが進められます。

  • Round-trip Consistency: 質問生成後、検索エンジンで質問に対する関連文書を再取得し、回答が含まれている場合のみデータとして採用。このフィルタリングにより、データの質を高めています。

Large Language Models

  • ファインチューニングの繰り返し: これらのステージを通じて生成された高品質の疑似データを使い、LLMを再ファインチューニングすることで、専門分野に特化した質問応答能力を向上させます。

要約

この図は、SimRAGが一般的なデータから専門分野に適応するプロセスを示しており、特に自己学習とフィルタリングの重要性を視覚的に表現しています。

表1：医療分野における提案手法とベースラインの結果。すべての手法は推論にRAGを使用しています。太字と下線は、それぞれ最高性能と2番目に良い性能を示しています。∗：平均計算に使用される主な指標。†：GPT-4から生成された合成データを使用して訓練されたモデル。‡：同じ未ラベルのコーパスを使用して実装した独自のモデル。以下の表でも同じ表記を使用しています。

この表は、SimRAGと他のLLM（大規模言語モデル）を用いた質問応答タスクにおけるパフォーマンスを、複数のデータセットで比較したものです。具体的には、医療分野のデータセット（PubMedQA、BioASQ、MedQA、MedMCQA、MMLU-med、LiveQA、MedicationQA）を用いて評価されており、各モデルの精度（ACC）やRouge-L、MAUVEなどの評価指標が示されています。以下に主要なポイントを解説します。

表の構成

  1. モデルカテゴリ:

    • Proprietary LLMs (参考用): GPT-3.5とGPT-4の評価結果。

    • Medical LLMs: 医療分野に特化したLLM（PMC-Llama、MEDITRON、AdaptLLMなど）の結果。

    • Retrieval-Augmented LLMs: RAG（検索強化生成）を使用したLLM（Self-RAG、ChatQAなど）の結果。

    • Backbone Models: 基盤として使用されたモデル（Llama3-8BやGemma2-27B）と、それに基づいて構築されたRA（retrieval-augmented）モデル（RAFT、EvidenceRAG、SimRAGなど）の結果。

  2. データセットと評価指標:

    • PubMedQA、BioASQ、MedQA、MedMCQA、MMLU-medのデータセットでは、**ACC（精度）**が指標として用いられています。

    • LiveQAとMedicationQAでは、Rouge-LとMAUVEスコアが評価指標として使用されており、主にオープンエンド型の質問に対する応答の質を測るためです。

主要な結果と観察

  1. Proprietary LLMs vs. Medical LLMs:

    • GPT-4の平均精度は69.34%で、他の医療特化型モデル（Medical LLMs）よりも高い結果を示しています。

    • Medical LLMsは、医療特化データでトレーニングされているにもかかわらず、精度が平均48.10%〜59.31%と低く、一般的なGPT-4には劣ります。

  2. Retrieval-Augmented LLMs (RAGモデル):

    • RAGを活用したモデル（Self-RAGやChatQA）は、従来のMedical LLMsに比べ精度が向上していますが、GPT-4には届かない結果となっています。例えば、ChatQA1.5 70Bは平均64.40%です。

  3. SimRAGのパフォーマンス:

    • SimRAG 8Bと27Bのどちらも、他のRetrieval-Augmentedモデル（RAFT、EvidenceRAG）より高い精度を示しています。

    • 特に、SimRAG 8BはPubMedQA、BioASQ、MedMCQAで最高の精度を達成しており、総合平均でも66.04%と高い値を示しています。

    • 「w/o Stage II（第2段階ファインチューニングなし）」と比較すると、第2段階のファインチューニングを行うことで、各データセットで精度が向上していることが確認できます。

  4. バックボーンによる比較 (Llama3-8B-Instruct vs. Gemma2-27B-Instruct):

    • Gemma2-27Bをバックボーンに使用したモデルは、Llama3-8Bに基づくモデルよりも全体的に高い精度を示しています。

    • 例えば、SimRAG 27Bは平均65.17%で、Llama3-8Bを用いたSimRAG 8B（66.04%）と同等、もしくはそれ以上のパフォーマンスを発揮しています。

結論

この表から、SimRAGは他の医療特化型LLMや従来のRAGモデルに比べて、専門分野に特化した質問応答タスクにおいて高い性能を示していることがわかります。また、SimRAGは追加の自己改善段階（Stage II）を持つことで、さらに精度を向上させることができ、特に医療分野での適用に有用であると評価されています。

SimRAGという名前にRAG（Retrieval-Augmented Generation）を入れた理由

SimRAGという名前にRAG（Retrieval-Augmented Generation）を入れた理由として、次のような推測が考えられます。

  1. 検索プロセスを一部でも取り入れていることの強調:
    SimRAGでは、生成した質問に基づいてトップkの文書を再度検索し、ラウンドトリップ整合性でフィルタリングするプロセスが含まれています。このプロセスにより、質問と回答が正しい文脈で結びついているかを確認します。外部データベースからの動的な検索は行っていないかもしれませんが、内部データに対する「検索」機能を応用しているため、RAGの概念を取り入れていると考えられます。

  2. RAGの拡張としての自己改善:
    SimRAGの最大の特徴は、自己改善（Self-Improving）機能を備えたRAGの拡張版である点です。RAGは通常、既存の知識ベースにアクセスすることで回答生成を補強しますが、SimRAGではそのRAGの基盤に「自己改善」の要素を追加しています。モデルが自身で疑似ラベル付きデータを生成し、そのデータを利用して専門性を高めるプロセスを取り入れているため、「RAGの拡張版」であることを強調するためにRAGを名前に含めている可能性があります。

  3. 既存のRAG手法との連続性を示すため:
    「SimRAG」と名付けることで、既存のRAG手法をベースとした手法であることを示し、他のRAGモデル（例えば、ChatGPTのRetrieval-Augmentedバージョンなど）と連続性を持たせています。こうすることで、ユーザーや研究者に対して、SimRAGがRAGの流れを汲みながらも独自の改善を加えた手法であることをわかりやすく伝える意図があると考えられます。

  4. 「Retrieval-Augmented」の意味を拡大して解釈:
    通常のRAGが外部知識へのアクセスを意味する一方、SimRAGは内部のデータ（未ラベルの専門分野のデータ）に対する「検索と生成」を行い、これを通じてモデルが特定の専門性に適応する仕組みを取っています。これにより、「Retrieval」の概念を、外部データに限らず内部のデータに対しても拡張して解釈していると考えられます。

以上から、SimRAGは「RAGの拡張としての自己改善型の生成モデル」という意味を込めて名付けられた可能性が高いと推測されます。

この記事が気に入ったらサポートをしてみませんか？