Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting

Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting

1. 本研究の学術的な背景と研究が解決する問題は何ですか？
==> 本研究は、Large Language Models（LLMs）を使用してクエリと候補のドキュメントを直接プロンプトに入力して文書をランキングする問題に取り組んでいます。しかしながら、LLMsが既存のベンチマークに基づく基準順位決定器を上回ることが困難とされてきた問題に対処しています。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
==> 本研究の目的は、LLMsによるペアワイズランキングのプロンプトを使用して、既存のベンチマークに基づくランキングパフォーマンスを実現することです。独自性と創造性は、LLMsをより効率的かつ正確に使用できる手法を提案することにあります。

3.研究の着想を得た経緯や、関連する国内外の研究動向とは何ですか？
==> LLMsを使用することによる文書ランキングに関する研究は、最近注目を浴びています。本研究は、現在のランキング手法に対する問題点に対処する特別な技術を提案しています。

4. 本研究で何をどのように、どこまで明らかにした？
==> 本研究では、関連する既存の手法を分析し、新しい技術であるペアワイズランキングプロンプティング（PRP）を提案し、実装しました。PRPを使用することにより、現在のベンチマークに基づくランキングのパフォーマンスを改善することができます。また、PRP技術がランキング照会および評価APIをサポートし、入力の順序に敏感であるなど、その利点にも言及しています。

5. 本研究の有効性はどのように検証した？
==> 本研究では、TREC-DL2019およびTREC-DL2020データセットを使用して、提案手法の有効性を評価しています。結果は、既存のベンチマークに基づくランキングパフォーマンスで、他の提案手法を上回ることができることを示しています。