Towards Few-Shot Fact-Checking via Perplexity
1. 本研究の学術的背景は「少数の学習例（few-shot learning）」という課題にあります。データが少ない状況での学習が求められる中、大規模な事前学習済みの言語モデルが少数の学習サンプルで高いパフォーマンスを示すことが示されてきました。しかし、事実検証（fact-checking）というタスクに対する少数の学習例を用いた学習手法はまだ探求されていない状況です。事実検証はオンライン情報が毎日爆発的に増えている現状において重要な課題となっています。
2. 本研究の目的は、言語モデルの強力な転移学習能力を利用した新たな手法を提案し、特に事実検証タスクに対する少数の学習例を用いた学習の実現を目指すことです。この研究の独自性と創造性は、言語モデルの混乱度スコア（perplexity score）を利用する点と、わずか2つの学習例を用いて多くのデータセットでベースラインを10%以上超えるパフォーマンスを示すことができる点にあります。
3. 事前学習済みの言語モデルの強力な転移学習能力が事実検証タスクに適用されていないという現状が、本研究の着想の源になっています。国内外において、事実検証タスクに対する少数の学習例を用いた学習に取り組む研究は少なく、本研究はその新たな試みとして位置づけられます。
4. 本研究で提案する方法は、混乱度スコアを利用して言語モデルの転移学習を活用します。さらに、わずか2つの学習例のみを用いて多くのデータセットにおいてベースラインを10%以上上回るパフォーマンスを示しました。これにより、混乱度スコアの独特な利用法と、提案手法の強力な少数学習例能力を経験的に確認しました。
5. 提案手法の有効性は、複数のデータセットを用いた実験を通じて検証されました。提案手法を精度の高いベースラインモデルと比較し、わずか2つの学習例でも優れた結果を出せることを確認しました。また、新たにCOVID-19に関する2つの事実検証データセットを作成し公開し、提案手法の有効性を示しました。