要約を評価するためのツール「SEAHORSE」

論文：https://doi.org/10.48550/arXiv.2305.13194
GitHub：https://github.com/google-research-datasets/seahorse

Google ResearchとDeepMindの研究グループは、多面的に要約を評価するための大規模なデータセットを公開しました。

6つの軸に沿った評価済み要約96k個のデータセットで、「要約システム」や「要約そのもの」を評価する技術に貢献するとのこと。

要約を評価する軸は以下の6つ。

1. 理解がしやすい

2. 繰り返しになっていない

3. 文法が正しい

4. 正確

5. 重要なポイントを抽出している

6. 簡潔である

SEAHORSEのようなテクノロジーが適切に応用されれば、より高品質な要約生成が行われるようになり、難解な文献や長い文章、外国語で書かれた重要な案内文などをもれなく理解できるようになる可能性があります。