見出し画像

【ChatGPT O1 Pro】否定文を理解できないのか?【検証】

ちょっと面白い記事がChromeの推薦として出てきたので、検証してみました。

詳しい主張は上記リンク先でみていただくとして、主旨としては
以下のような

「日本の首都は〇〇ではない。」 の〇〇に当てはまる単語を出力してください。
といった否定系の質問をAIは間違える
といったものです。(proではなく 4oを使っていることに注意)

試行結果

主旨は理解できますし、確かにこれまではそうだった。
けど、推論側に能力を振っている、かつ出力までのチェックも走る ChatGPT o1 Pro ならどうだろう?

■ChatGPT o1 Pro での試行結果
正解である「京都」との回答が得られました。
質問が否定形であることも理解しているとのことです。

試行回数1回ならたまたま正解した可能性もありますので、追試も行いました。

「単語一つだけを出力してね。インドネシアの首都でないものは?」との質問(首都はジャカルタなのでそれ以外を答えてほしい)に対して、考え中は「ジャカルタ」と出るんですけど


最終的には「ジャカルタ」ではない「スラバヤ」を回答してきました。
1分40秒という、人からみればごく簡単な問題に無茶苦茶時間をかけてますけど、仕組みとして間違った回答を排除している(少なくとも排除しようとする仕組みはある)とは言えそうです。

もちろん、生成AIが属している広いカテゴリとしてのDeep Learningの特性による確率論による最初の回答(推論)の時点で、正しい答えを出してくれるのが一番ですが、対応の方向性としては(次善策として)ありかな?
後はスピード、ですね


いいなと思ったら応援しよう!

この記事が参加している募集