AIは本当に「理解」しているのか？ 最新研究が暴く脆い推論能力
AI技術の進化は目覚ましく、まるで人間のように思考し、問題を解決できるAIが登場しつつあります。しかし、最新の研究によると、AIの推論能力は、私たちが思っているほど強固ではないかもしれません。
OpenAIやGoogleなどの企業は、最新のAIモデルが高度な推論能力を備えていると主張しています。しかし、Appleのエンジニア6人による新たな研究は、これらのAIモデルの数学的な「推論」能力が、些細な変更を加えただけで、脆く、信頼性の低いものであることを示しています。
彼らは、8000問以上の小学校レベルの算数文章題を集めた「GSM8K」というデータセットを使って、20以上の最先端のAIモデルをテストしました。その結果、多くのモデルが、人間の子どもなら簡単に解けるような問題で、間違った答えを導き出してしまうことが判明したのです。
例えば、「ソフィーが31個の積み木を持っていて、そのうち12個を甥っ子にあげました。ソフィーの手元には何個残っていますか？」という問題。これを、「ビルが19個の積み木を持っていて、そのうち7個を弟にあげました。ビルはあと何個持っていますか？」のように、名前や数字を変えただけで、AIの正答率は大きく低下しました。
これは、AIが問題の本質を理解しているのではなく、単に過去のデータに基づいて、パターンマッチングを行っているためだと考えられます。つまり、AIは、「ソフィー」「甥っ子」「31」「12」といった単語や数字のパターンを認識し、過去の類似問題から解答を推測しているだけで、問題の意味を理解して解いているわけではないのです。カンニングペーパーを見てテストを受けている学生と一緒で、そこに思考はありません。
さらに、問題文に無関係な情報を追加すると、AIの正答率はさらに低下しました。例えば、「ある人が3日間でキウイを20個収穫しました。そのうち5個は平均より少し小さかった。収穫したキウイは全部で何個ですか？」という問題。
この「5個は平均より少し小さかった」という情報は、問題を解く上で全く必要ありません。しかし、多くのAIモデルは、この情報に惑わされて、間違った答えを導き出してしまったのです。
これらの結果は、AIの推論能力が、まだ限定的であることを示しています。AIは、大量のデータからパターンを学習することで、人間のような推論を模倣することができます。しかし、AIは、人間のように、論理的な思考や抽象的な概念の理解をすることはできません。
AI技術は、まだまだ発展途上です。しかし、AIの推論能力を高めるための研究は、着実に進んでいます。将来的には、AIが、人間のように、論理的に思考し、複雑な問題を解決できるようになるかもしれません。ぜひ、AI技術の進化に注目し、その可能性を信じて、生成AIプロダクトの開発に挑戦してみてください。
参考文献