Can large language models provide useful feedback on research papers? A large-scale empirical analysis
1 本研究の学術的背景は、研究成果が急速に増え、専門領域の知識が複雑化する中で、科学的フィードバックの取得が困難になっているという現状にあります。具体的には、より初級の研究者や、リソースが十分でない環境からの研究者ほど、タイムリーなフィードバックを得ることが難しいという課題があります。そこで、大規模な言語モデル（LLM）であるGPT-4を利用した研究論文に対する科学的フィードバックの自動生成に注目が集まっています。その中で、LLMによるフィードバックの有用性を如何に体系的に検証するか、という問いが本研究の核心となる問いです。
2 本研究の目的は、GPT-4を用いた科学的フィードバック生成について評価するための自動パイプラインを開発し、その性能を大規模に評価することです。独自性と創造性は、GPT-4による科学的フィードバックの有用性を初めて大規模かつ体系的に検証している点にあります。
3 本研究の着想は、論文審査に必要となる高品質なフィードバックの獲得が困難になっているという現状から来ています。特に、初級の研究者やリソースが制限された環境にある研究者は、有益なフィードバックを得るのが特に難しいという問題がありました。このような背景のもと、LLMの応用可能性に目をつけ、科学的フィードバックの生成にその力を試すことにしました。
4 本研究では、科学的な論文のPDFを入力として、GPT-4による評価コメントを自動生成するシステムを開発しました。その性能は二つの大規模な研究を通じて評価され、GPT-4によるフィードバックと人間によるフィードバックの間にある平均的な一致度が二つの研究すべてで人間のレビュアー間のそれと比較して匹敵することが示されました。
5 本研究の有効性は二つの大規模研究を通じて検証されました。一つ目は、GPT-4のフィードバックとNature群の15のジャーナル（合計3,096論文）とICLR機械学習会議（1,709論文）での人間によるピアレビューとを定量的に比較しました。二つ目は、308人の研究者に自分たちの論文に対するGPT-4のフィードバックを評価してもらうユーザースタディを実施しました。これにより、ユーザーがGPT-4によるフィードバックにどの程度価値を見出しているかを理解しました。