見出し画像

【論文瞬読】驚愕！ChatGPTは統計の専門家！？確率分布も理解できちゃうって本当？

AI Nest

こんにちは！株式会社AI Nestです。
最近、ChatGPTをはじめとする大規模言語モデル（LLM）が話題になっていますよね。人間みたいな会話ができるのはもちろん、翻訳や文章生成までこなせちゃうんです。でも、ちょっと待って！実は、確率分布みたいな統計の専門知識まで理解できるって知ってました？

タイトル：What Are the Odds? Language Models Are Capable of Probabilistic Reasoning
URL：https://arxiv.org/abs/2406.12830
所属：Google
著者：Akshay Paruchuri, Jake Garrison, Shun Liao, John Hernandez, Jacob Sunshine, Tim Althoff, Xin Liu, Daniel McDuff

確率分布って何？

確率分布って聞くと「？？？」ってなる人もいるかもしれませんね。簡単に言うと、データがどのように広がっているかを表すものです。例えば、テストの点数とか、コインを投げて表が出る回数とか、そういうデータがどんなパターンで現れるのかを視覚的に示してくれるんです。

確率分布の種類

確率分布には、正規分布、対数正規分布、指数分布など、色々な種類があります。それぞれ、どんなデータに適用できるかが違います。例えば、正規分布はテストの点数とか、身長の分布とかによく使われます。

論文の内容をざっくり解説！

今回紹介する論文では、LLMが 確率分布を理解できるか を検証しています。具体的には、

  1. パーセンタイルの推定: ある値がデータ全体の何パーセントの位置にいるかを推定する

  2. サンプルの生成: 確率分布からランダムにデータを生成する

  3. 確率の計算: 特定の範囲に入る確率を計算する

といったタスクをLLMにやらせてみたんです。

理想的な分布 vs. 現実世界の分布

この論文、面白いのが、理想的な分布と現実世界の分布の両方で実験しているところなんです。理想的な分布っていうのは、教科書とかに出てくるような綺麗な形の分布のこと。現実世界の分布は、Fitbitのデータとか、実際の年収データとか、もっとゴチャゴチャしたデータから作られた分布です。
これらの分布は、論文中で可視化されています。(図2)

Figure2, 分布。健康、金融、気候の各領域における、理想化された12の分布と現実の12の分布を視覚化したもの。

ChatGPTは統計の専門家になれるのか？

で、気になる結果ですが、ChatGPTはある程度の確率分布を理解できる ことがわかりました！具体的には、いくつかの分布に対して、パーセンタイルの推定、サンプルの生成、確率の計算をある程度正確に行うことができました。(図3)

Figure3, 理想化された分布に関する結果．5つの一般的な分布についてのモデル結果（上）パーセンタイルの推定，（中）標本の抽出，（下）確率の推定（すべての分布についての結果は付録Bを参照）．

ただ、その性能は分布の種類や与えられた情報によって結構変わってくるみたいなんです。特に、現実世界のデータに対しては、ChatGPTに分布に関する説明とか、サンプルデータとか、追加の情報を与えてあげると、より正確に質問に答えられるようになることがわかりました。(図1)

Figure1, LM と確率的推論。モデルは分布について推論することができるが、現実世界の文脈、例題、単純化された仮定を組み込むことによって、これらの仮定が不正確であったり、誤った仕様であったりしても、それを助けることができる。

まとめと感想

今回の論文、ChatGPTの可能性を広げる研究として、かなり興味深い内容でした。ChatGPTが確率分布を理解できるってことは、将来的にはもっと複雑なデータ分析とかもできるようになるかも！？
ただ、まだまだ課題もあるみたいです。特に、複雑な形の分布とか、現実世界のデータに対する理解を深めるのが今後の課題になりそうです。

最後に

この記事でChatGPTの可能性を感じていただけたでしょうか？これからもChatGPTをはじめとするLLMの進化から目が離せませんね！