量子化したローカルLLMによるセンチメント分析モデルのpreprintを公開しました

arXivにローカルLLMを用いたモデル提案のpreprintを公開しました。大規模言語モデル、今回はLLaMA-3を量子化したローカルモデルを使ったセンチメント分析手法の提案ですね。

1. タイトルなど

Title: Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study on Factors Affecting Restaurant Evaluation
Author: Junichiro Niimi
doi: https://doi.org/10.48550/arXiv.2407.1306

@misc{niimi2024dynamicsentimentanalysislocal,
      title={Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study on Factors Affecting Restaurant Evaluation}, 
      author={Junichiro Niimi},
      year={2024},
      eprint={2407.13069},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.13069}, 
}

2. 内容

非常に簡単にいうと、LLMを観点別センチメント分析 (Aspect-based Sentiment Analysis, AbSA)に活用するにあたり、

• モデルの規模や量子化の精度と予測結果の関係性

• 多数決機構の導入による予測精度の変化

• 発展的な解析（各評価要因と総合評価の関係性の分析）

の3点を行なっています。モデルの規模（パラメーター数など）や量子化の精度（Precision）とタスクの精度の関係性についてはこれまでにも複数の文献で検証が進んでいるのでとりあえず実施したという感じで、特にポイントとなるのは多数決機構 (Majority voting mechanism)の導入です。

3. アンサンブル学習的な多数決機構の導入

実際の人力でのアノテーションは複数人で行われることが一般的で、その際にアノテーターの間で評価に差が出た場合には、話し合いや多数決により解決されることが多い。LLMではパラメーターの値(temperatureやseed)によって得られる結果がそれなりにバラついてしまうことが問題だと思っていて、その解決に人力でのアノテーションと同じプロセスを取り入れられないかと考えたところからこの研究は始まっています。
今回はLLMを使ったセンチメント分析を行うにあたり、LLM内に仮想的に5人の作業者を構築 (=より正確にいうとseedパラメーターにより一つのタスクに対して5つの評価値を生成)し、それら5つの値の多数決を取っています。

今回は事前学習モデルとしてLlama 3を使っていますが、70Bモデルと8Bモデルそれぞれで同じタスクを実行すると、70Bで約2.4%の精度改善が得られる代わりに、処理時間はおよそ14倍かかります。一方、8Bモデルで推論を5回繰り返して結果の多数決を取ると、およそ5倍の処理時間で3-9%程度の精度改善が見られ、より効率的にタスクを実行できます。

4. この先の展開

そんな感じの論文で、とりあえず海外誌に投稿中です。
あとは9月の電気情報通信学会(IEICE) 言語理解とコミュニケーション研究会 (NLC)『第21回テキストアナリティクス・シンポジウム』にて関連する内容の発表を予定しています。

今回はマーケティング応用として観点別センチメント分析に使いましたが、この先はInformation Retrievalの方向に拡張していきます。というのもモデル内でやってることがほとんどRAGみたいなもんなので。