LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis

https://arxiv.org/abs/2310.15100

1. 本研究の学術的背景は、質的データの分析において広く使われてきたテーマ分析（TA）についてです。TAでは通常、同じデータは少なくとも二人の人間コーダーに割り当てられ、信頼性のある分析を行います。また、有意義で有用な分析を行うために、人間コーダーは複数の反復を通じてデータの解釈とコーディングを発展させます。そのため、TAは労働集約的で時間がかかるという課題があります。

2. 本研究の目的は、大規模言語モデル（LLMs）を利用してTAの効率を向上させることです。LLMsは最近、人間に似た振る舞いをさまざまなタスクで実現する可能性があることが示されています。特に、LLMsはテキスト注釈のタスクでクラウドワーカーよりも優れた成果を示しており、TAにLLMsを活用する機会があると考えられます。

3. 本研究は、LLMsの応用に関する最新の研究動向に基づいています。LLMsは人工知能（AI）の分野で大きな進歩を遂げており、プログラミングのためのCopilotや対話生成のためのLaMDAなど、さまざまなアプリケーションが開発されています。さらに、いくつかの研究では、LLMsがクラウドソーシングタスクで人間のアノテーターの成果を上回っていることが示されており、LLMsをTAに活用する可能性があると考えられます。

4. 本研究では、LLMと人間コーダーが協力してTAを行うフレームワークを提案しています。具体的には、LLMを使用してディスカッションを行い、TAのための最終のコードブックを生成します。このフレームワークは、音楽の聴取体験やパスワードマネージャーの使用に関する調査データセットを使用して有用性をデモンストレーションしています。二つのケーススタディの結果から、提案されたフレームワークは人間コーダーと同様のコーディング品質を提供し、TAの労力と時間を削減することが示されています。

5. 本研究の有効性は、音楽の聴取体験とパスワードマネージャーの使用に関する調査データセットを用いたケーススタディによって検証されています。提案されたLLM-in-the-Loopフレームワークは、二人の人間コーダーと比較して同等の作業品質を提供することが示されています。この研究の貢献は、TAにおける人間とLLMの協力フレームワークを提案し、人間コーダーとLLMとの間のディスカッションを支援するループを設計し、LLMを用いる場合の長文の質的データに対する解決策を提案する点です。