【論文瞬読】インターネットスラングをマスターするAI：SLANGベンチマークとFOCUSアプローチ

2024年4月18日 18:26

こんにちは、みなさん！株式会社AI Nestです。
今回は、自然言語処理の世界で話題になっている研究論文を紹介します。タイトルは「SLANG: New Concept Comprehension of Large Language Models」。インターネット上で急速に進化する言語に対する大規模言語モデル（LLM）の適応力を高めるための、革新的なアプローチが提案されているんです。

タイトル：SLANG: New Concept Comprehension of Large Language Models
URL：https://arxiv.org/abs/2401.12585
所属：CAS Key Laboratory of AI Security, Institute of Computing Technology, Chinese Academy of Sciences, University of California, Los Angeles, University of Chinese Academy of Sciences
著者：Lingrui Mei, Shenghua Liu, Yiwei Wang, Baolong Bi, Xueqi Cheng

🤔 LLMの抱える課題とは？

LLMは、GPTシリーズに代表されるような、大量のテキストデータで学習した強力なモデルです。しかし、そのトレーニングデータは静的なものが多く、インターネット上で日々生み出される新しい言葉やミームに対応するのが難しいという問題があります。「yeet（投げる）」や「sus（suspicious の略）」といった言葉は、ソーシャルメディアやオンラインゲームで頻繁に使われていますが、LLMはこれらを正しく理解できないことが多いんです。

また、LLMは表面的なパターンに基づいて意思決定を行う傾向があります。つまり、文脈や言外の意味を汲み取ることが苦手なんですね。例えば、以下の図に示すように、Chain-of-Thought（CoT）アプローチでは、フレーズの字義通りの解釈にとどまっているのに対し、FOCUSアプローチ（詳細は後述）では、比喩やより深い意味を捉えられていることがわかります。そのため、人間の指示を正確に解釈・実行することが困難だったりします。

💡 SLANGベンチマークとFOCUSアプローチ

この研究では、SLANGベンチマークとFOCUSアプローチという2つの革新的な方法が提案されています。

SLANGベンチマーク

SLANGベンチマークは、UrbanDictionaryから収集したインターネットスラングやミームに関するデータセットです。UrbanDictionaryは、ユーザー投稿型のオンラインスラング辞書で、最新の言語トレンドを反映しているんです。

研究チームは、2022年1月以降に追加された単語を選び、すでにLLMのトレーニングデータに含まれている可能性の高いフレーズを除外しました。また、ユーザー評価（アップ投票とダウン投票）を利用して、データセットの品質と網羅性を確保しています。下記の図は、データセットのエントリーにおけるアップ投票数の分布を示しており、データクリーニング前後の分布の変化を直接比較できます。

FOCUSアプローチ

FOCUSアプローチは、因果推論を用いてLLMの新概念理解力を高めるための手法です。下の図は、LLMが新しいフレーズを解釈する際の構造因果モデル（SCM）を示しています。変数XとWは、ユーザーの複雑な意図や思考を表しており、LLMがこれらの側面を直接把握するのは困難であることを示唆しています。因果関係を分析することで、従来の相関ベースの学習を超えて、モデルの予測能力を向上させるんです。