The FinBen: An Holistic Financial Benchmark for Large Language Models
下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。
本研究の背景と関連研究は、金融分野における大規模言語モデル（LLMs）の評価の欠如と、金融タスクの複雑さにあります。金融分野では、LLMsの能力を包括的に評価する評価基準が不足しています。関連研究はなく、本研究が初めて金融分野におけるLLMsの評価基準である「FinBen」を提案します。
本研究の目的は、金融分野におけるLLMsの能力を総合的に評価することです。金融タスクにおけるLLMsの強みと限界を明らかにし、金融分野でのLLMsの開発の方向性を示すことです。金融分野におけるLLMsの評価基準が重要な理由は、金融業界でのLLMsの活用が進む中、その能力を客観的かつ網羅的に評価することが必要であるためです。
本研究では、金融分野におけるLLMsの評価を行うために、「FinBen」という評価基準を提案しています。FinBenには35のデータセットと23の金融タスクが含まれており、認識的な推論、連想性記憶、数量的推論、結晶化した知能などのLLMsの認知能力を評価することができます。
本研究では、代表的な15のLLMsを評価し、彼らの金融分野における強みと限界を明らかにしました。GPT-4は数量化、抽出、数値推論、株式取引において優れており、Geminiは生成と予測において優れていることがわかりました。しかし、どちらも複雑な抽出と予測では苦戦しており、特定の改善が必要であることが明らかになりました。また、タスクのチューニングは簡単なタスクのパフォーマンスを向上させるものの、複雑な推論や予測能力の向上には短所があることも示されました。
本研究では、金融分野におけるLLMsの評価基準であるFinBenを導入し、15の代表的なLLMsを評価しました。この評価により、LLMsの金融分野における強みと限界が明らかになりました。これにより、金融業界におけるLLMsの開発において、タスクとモデルのアップデートを定期的に行いながら、AIの発展を促進することが期待されます。