【簡単AI論文】The Impact of Reasoning Step Length on Large Language Models
大きな言語モデルは、文章を生成したり、質問に答えたりすることができます。
しかし、複雑な問題を解くときには、ただ文章を生成するだけではなく、論理的に考える必要があります。
そのために、考えるステップを文章にして提示するという手法があります。これを「思考の連鎖」と呼びます。
例えば、次のような問題があったとします。
Q: ある日、太郎くんは100円のお菓子を買いました。
そのお菓子は税込みで108円でした。
太郎くんは1000円札で払いました。
お釣りはいくらになりますか？
A: この問題を解くためには、次のように考えるステップを文章にして提示します。
まず、太郎くんが買ったお菓子の値段は税込みで108円です。
次に、太郎くんが払ったお金は1000円札です。
そして、お釣りは払ったお金からお菓子の値段を引いたものです。
つまり、お釣りは1000円 - 108円 = 892円です。
よって、答えは892円です。
このように、考えるステップを文章にして提示すると、AIは問題を解くのに役立つ情報を得ることができます。
また、人間はAIの考え方を理解しやすくなります。
この論文では、考えるステップの長さがAIの推論能力にどのような影響を与えるかを調べています。
考えるステップを増やすと、AIはより正確に問題を解けるようになるのでしょうか？
それとも、考えるステップを減らすと、AIはより効率的に問題を解けるようになるのでしょうか？
この論文では、様々な種類の問題に対して、考えるステップの長さを変えてAIに解かせてみました。
そして、次のような結果を得ました。
考えるステップを増やすと、AIの推論能力は向上します。特に、複雑な問題では、考えるステップが長いほど正確に解けることがわかりました。
考えるステップを減らすと、AIの推論能力は低下します。特に、簡単な問題では、考えるステップが短いほど正確に解けないことがわかりました。
考えるステップの中に間違った情報があっても、AIの推論能力はあまり変わりません。重要なのは、考えるステップの長さであって、正確さではないことがわかりました。
この論文のまとめは次のようになります。
AIに問題を解かせるときには、考えるステップを文章にして提示すると良いです。
考えるステップは長いほうが良いです。長いほうが、AIはより論理的に考えることができます。
考えるステップの正確さはあまり重要ではありません。間違っていても、AIは問題を解くことができます。