Lost in the Middle: How Language Models Use Long Contexts
1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は何ですか？
最近の言語モデルは、長い文脈を入力として受け取ることができますが、長い文脈をどの程度利用しているかについては、あまり知られていません。本研究の課題は、入力の長さに応じた言語モデルの性能を評価し、長い文脈の利用について理解を深めることです。
2. 本研究の目的及び学術的独自性と創造性は何ですか？
本研究の目的は、長い文脈において言語モデルがどの程度有効かを評価することです。本研究の独自性は、マルチドキュメントの質問応答とキー・バリュー・リトリーバルの２つのタスクについて、入力文脈内の関連情報を特定する能力を定量化したことです。
3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは何ですか？
過去、入力の長い文脈を持つ言語モデルに関する研究は行われてきましたが、言語モデルが長い文脈をどの程度有効に利用しているかに関する研究は未だ少ないです。本研究の着想は、言語モデルの入力文脈内での効果的な情報抽出方法に関する未解決問題にあります。
4. 本研究で何をどのように、どこまで明らかにした？
本研究では、マルチドキュメントの質問応答とキー・バリュー・リトリーバルの２つのタスクについて、入力文脈内の関連情報を特定する能力を定量化しました。結果、入力文脈が長くなるほど、言語モデルの性能が低下することがわかりました。また、入力の開始または終了位置に関連情報がある場合には、性能が最も高くなることも示されました。本研究の結果は、長い文脈での言語モデルの利用方法を理解する上で貢献することができます。
5. 本研究の有効性はどのように検証した？
本研究では、マルチドキュメントの質問応答とキー・バリュー・リトリーバルの２つのタスクについて、入力文脈内の関連情報を特定する能力を定量化することで、言語モデルが長い文脈をどの程度有効に活用できるかを示しています。検証結果として、入力文脈が長くなるほど、言語モデルの性能が低下することがわかりました。