API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs

https://aclanthology.org/2023.emnlp-main.187.pdf

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

• 論文タイプ: 本研究は学術会議「Empirical Methods in Natural Language Processing」の2023年の会議論文として発表されたものです。

• 本研究の背景と関連研究: 近年、大規模な言語モデル（LLMs）の開発が進み、GPT-3やGPT-4などのモデルが注目を集めています。しかし、これらのモデルは訓練データに制約があり、最新の情報にアクセスしたり、外部のAPIツールを使用したりする能力には限界があります。そこで、本研究では外部のAPIツールを活用することでLLMsの能力を向上させる方法について研究しています。

• 本研究の目的とその重要性: 本研究の目的は、現在のLLMsがどれだけ効果的にツールを活用できるのか、そしてそれをどのように向上させることができるのか、さらにはツールを活用するためにはどのような障壁があるのかという3つの重要な質問に答えることです。この研究の重要性は、LLMsの有効性を向上させるための方法を明らかにすることにより、自然言語処理の分野における研究の進歩に貢献することです。

• 本研究で用いた材料やデータの詳細: 本研究ではAPI-Bankというベンチマークを導入しています。API-Bankは、ツールを活用したLLMsに特化した革新的なベンチマークです。具体的には、73のAPIツールからなる実行可能な評価システムと、314のツール使用対話と753のAPI呼び出しで構成されたデータを用意しています。

• 本研究で何をどのように、どこまで明らかにした？: 本研究では、まずAPI-Bankの評価システムを構築し、既存のLLMsがツールをどの程度効果的に活用しているのかを評価しました。次に、API-Bank内に包括的なトレーニングセットを構築し、Alpacaから初期化されたツール付きLLMであるLynxをトレーニングしました。さらに、実験結果からLLMsのツール利用能力についての洞察を得ました。

• 本研究の有効性はどのように検証した？: 本研究では、API-Bankでの広範な実験を通じて、既存のLLMsのAPIツール利用能力に関する知見を得ました。また、Lynxというツール付きLLMがAlpacaよりも優れたツール利用性能を示すことを実験的に検証しました。さらに、GPT-4とLynxがAPI利用において遭遇する主な課題を明らかにするため、詳細なエラー分析を行いました。