Response: Emergent analogical reasoning in large language models
1. 本研究の核心となる学術的な「問い」は、「大規模言語モデル（例えば、GPT-3）が本当に様々な類推問題をゼロショット（つまり、事前の特別な学習なしに）で解く能力を持っているのか？」というものです。
2. この研究の目的は、GPT-3がゼロショット推論で類推問題を解く能力を検証し、その結果を元に当該能力の存在を否定または疑問視することです。学術的な独自性と創造性は、GPT-3の性能を批判的に再評価し、データの暗記だけでなく人間のような推論能力を真に獲得しているかを問う点にあります。
3. 本研究の着想は、Webb, Holyoak, and Luによる2023年の論文「大規模言語モデルにおける類推推論の新規能力」から来ており、当該研究者たちは大規模な言語モデルが広範な類推問題に対するゼロショット解法を見つける能力を獲得していると主張しています。本研究はこれに反駁する形で位置付けられています。
4. 本研究では、GPT-3が元の論文で提示された問題の最も簡単なバリエーションさえ解けないという反例を提供しました。私たちの実験では、前述のゼロショット推論という非常に大きな主張には必要な証拠が見当たらなかったと結論づけています。
5. 本研究の有効性は、GPT-3のゼロショット推論能力を具体的な問題解決を通じて検証し、その結果を元の論文の主張と照らして比較することにより実証しました。