【ChatGPT O1 Pro】否定文を理解できないのか?【検証】
ちょっと面白い記事がChromeの推薦として出てきたので、検証してみました。
詳しい主張は上記リンク先でみていただくとして、主旨としては
以下のような
「日本の首都は〇〇ではない。」 の〇〇に当てはまる単語を出力してください。
といった否定系の質問をAIは間違える
といったものです。(proではなく 4oを使っていることに注意)
主旨は理解できますし、確かにこれまではそうだった。
けど、推論側に能力を振っている、かつ出力までのチェックも走る ChatGPT o1 Pro ならどうだろう?
■ChatGPT o1 Pro での試行結果
正解である「京都」との回答が得られました。
質問が否定形であることも理解しているとのことです。
試行回数1回ならたまたま正解した可能性もありますので、追試も行いました。
「単語一つだけを出力してね。インドネシアの首都でないものは?」との質問(首都はジャカルタなのでそれ以外を答えてほしい)に対して、考え中は「ジャカルタ」と出るんですけど
もちろん、生成AIが属している広いカテゴリとしてのDeep Learningの特性による確率論による最初の回答(推論)の時点で、正しい答えを出してくれるのが一番ですが、対応の方向性としては(次善策として)ありかな?
後はスピード、ですね