『LLMは数学が苦手』は昨日の常識か？

お疲れ様です。

日々、ChatGPTをはじめとするLLM（大規模言語モデル）と対話しています。

LLMは文章の流れを捉えながら次に続く単語を予測する仕組みのため、従来は「数学的な思考とは異なる」とされ、あまり、数学的な問題をLLMに任せるのは難しいと考えられてきました。

こうした認識が一般的だったため、2023年6月あたりから、私も数学的な問題を解かせたり、LLMに任せることは意識的に避けていました。

しかし、それから1年以上が経過し、モデルが進化し続けていることから、「今なら少しは解けるのでは？」と思い、簡単な2次方程式を試してみたところ、正しい回答を得られました。

この結果を見て、「LLMができることが着実に増えているのだな」と実感するとともに、「最初から『無理』と決めつけず、いろいろ試してみるべきだな」と感じました。

一方で、「9.11と9.2、大きいのはどっち？」と質問すると、「9.11の方が大きい」と間違った回答するケースもあり、依然として数学的な問題を任せるには不安が残ります。

現在は過渡期にあるため、数学の問題を解かせるには誤答のリスクも伴いますが、将来的には正確に数学的推論を行えるモデルが次々と登場することが予想されます。

実際に、o1-previewのように考える時間を持たせる新しいタイプのモデルも登場しており、数学のベンチマークで高いスコアを記録しています。

そのため、「LLMで数学の問題を解くなんて無理だ」と、1年以上前の常識に縛られていると、変化のスピードに追いつけなくなるかもしれません。

常識にとらわれず、「このタスクはLLMに任せられるのか？」と様々な角度から問いかけ、応答を確認し、新しいモデルが登場するたびに改めて試してみる。こうした地道な対話が重要だと感じます。

LLMは次から次へと新しいモデルが登場するので、「LLMはこういったものだ」と決めつけてかかるのは、とても危険だなと感じます。

LLMとの付き合い方について、また一歩理解が深まり嬉しく思います。

最後までお読みいただき、ありがとうございました。