LLMは万能じゃない？特性を理解して効果的に活用しよう

お疲れ様です。

日々、ChatGPTをはじめとするLLMと対話を重ねています。

先日、AI関連のセミナーに参加する機会があり、会場の設営をしていた学生さんと少し話をする場面がありました。

その方は特にAIの研究をしているわけでは、なかったのですが、「ChatGPTなどのLLMを使っていますか？」と尋ねたところ、「ほとんど使っていない」ということでした。

優秀な大学の学生さんだったため、「頭の良い人とっては、LLMに任せるよりも自分で考えた方が効率的だと感じて、必要性を感じていないのかな」と思いましたが、よくよく話を聞いてみると、1年以上前に「研究で使う数学の問題を解かせてみたが、うまく解答できなかったため、それ以来使っていない」とのことでした。

普段からLLMを使っている私からすると、「・・・え？それは少しLLMに酷では？」と思いました。

LLMは会話や文章の流れを予測し、次に続く単語を予測するのは得意ですが、複雑な数学的思考とは異なるアプローチをとっているため、数学的な問題を解くのは根本的に得意ではないです。

また、最近のLLMであればアップデートにより、数学の問題にもある程度対応できるようになっていますが、１年前の2023年11月時点ではまだ数学的な問題を解くことは難しかったですし、特に研究レベルの数式を解かせるのはかなり酷な要求だと感じます。

例えるなら、相撲取りに「スポーツが得意ならマラソンも走れるだろう」と言って、途中でへばっている相撲取りに対して「スポーツが得意って聞いていたのに、なんだ、期待外れだ」と言うようなものかもしれません。

LLMも実はまだまだ万能選手ではなく、得意分野や苦手分野が存在します。その特性を理解した上で活用してあげないと、うまくその魅力が伝わらないのだろうと思います。

LLMの難しいところは、テキストのみのやり取りであるため、顔や体が見えず、特徴がわからない点です。

目の前に体重200キロを超える人がいれば「さすがにマラソンは無理だろう」と直感的にわかりますが、LLMにはそのような見た目がないため、無理な期待をかけて失望し、使わなくなる人もいるのかもしれないと思うと、少し残念に感じます。

LLMの特徴や得意なこと、苦手なことがもっと世の中に周知されると良いなと思います。

一方で、LLMも進化を続けており、数か月前に苦手だったことを克服している場合もあるため、そうした変化が話をややこしくしている部分もあると思います。

いずれにせよ、私はLLMは本当に素晴らしいツールだと思いますので、一人でも多くの人にその便利さに気づいてもらえると嬉しいなと思います。

最後までお読みいただき、ありがとうございました。