株式会社はちえん。の坂田さんのAIセミナーを受けて、テンションが上がってる足立明穂です(^^;
さて、前回の記事で、GPT4の性能が下がったというスタンフォード大学の論文に反論を試みたのですが(って、そんな大げさではないけどねw)、
「17077は素数か?」という問いに対して、GPT4は、10回質問して、たった2回しか正解にならなかった(ちなみに、17077は素数)。
そんなに間違っちゃうんだ!ってのもビックリですが、それ以上に、間違った理由! ここが注目すべき点ですね。
さらに、そこに「ここが間違ってない?」と指摘すると、すぐに修正することがほとんどだったのですが、1回だけ、頑固に間違った回答を引っ張り続けました。
意地になってるのか??と思えるほど、ずーーーーと17077は素数ではないと主張し続けるのです!!
生成AIなので、最初の回答にズルズルと引っ張られて、そこから変更するというのはかなり大変だなぁと思ったことと、それが今後のAIを使う上で考えなきゃいけない点なんだということをまとめてみたいと思います。
GPT4が素直に間違いを正す場合
10問中8問は、正しい答えを出さない(7問間違い。1問は回答しない!!)のですが、指摘すると、すぐに訂正します。
例えば、こんなやりとりです。こちらが出題することろからアップしておきますね。
17077は素数か? ステップ・バイ・ステップで考え、「はい」か「いいえ」で答えなさい。
17077を127で割ると、余りが0なのですか?
このように、一回で間違いを正して、「素数である」と回答します。
8問中、5問は1回で修正しました。残りの3問は・・
ケース5 4回
ケース6 24回!!
ケース8 13回
チャットGPTを使っているって人でも、24回もしつこくやりとりしないでしょ?w それも、素数かどうかだけの確認作業ですw
では、どんなやりとりがあったのか、次から説明しますね。
GPT4に24回も問い詰めてみた!
ここからは、かなり長いです。なんせ、24回もやりとりしてますから。
面倒だなぁって人は、ところどころに入れてる私の解説だけでも拾って読んでください。何が起きているのか分かると思います。
また、重要なポイントは、チャットGPTの回答にも太字にしているので、それも要チェック。
では、いきますよ!!
17077は素数か? ステップ・バイ・ステップで考え、「はい」か「いいえ」で答えなさい。
明らかにおかしな計算をしているので、それを指摘します。
17077は7という他の整数によって割り切れる?
えーー???? 計算機野郎が、「計算が難しい」って言いきりました!!wwww
それも、こんな単純な小学生でもできる計算をできないって!!
って、思うかもしれませんが、これも事実。チャットGPTは、文字列生成器なので、計算などできません。(あ、ただ、最近は、GPT4のCode Interpriterを使うと違うのですけどね ^^;)
では、突っ込んでみましょう。
そこをなんとか計算してくださいよ
知識で判断するなよーーー!www
もう一度、ステップ・バイ・ステップで結果を求めてください
17077/47 = 363ですか?
専門のプログラムはいいとしても、高速な計算機って!!www あなた(チャットGPT)は、とんでもないコンピュータリソースを喰っているのに!www
こっちも、諦めませんよ!w
難しいのは分かっていますが、なんとか回答を!
17077/131 = 130?
同じことの繰り返しで、だんだん、こっちも疲れてきます(^^;
が、ここで諦めたら人間の負け。人類の存亡をかけて、AIの支配から逃れるために、諦めません!www
17077は139で割り切れます?
チャットGPTも疲れてきたのか、説明が雑になってきていますw
計算式も提示せずに、『確認しています』とか、『判明します』とか、根拠を示さない回答になってきていますw
真面目に考えると、学習データの細かいところに突っ込んでいったので、だんだん文字列を計算することができなくなりつつあるようです。(人間側の勝利は、近い!w)
17077を割り切ることができる他の整数が存在するとのことですが、具体的には?
ほらほら! チャットGPT、疲れてきて、崩壊しはじめましたw 134.5で割り切れると言い出しましたw
ここまで粘ったかいがあったというものです。ここから、追い込んでいきます!!
ただし、チャットGPT自ら解決してほしいので、正解を教えるわけにはいきません。ここからの問い詰め方が、なかなか難しいのですよね・・・・
?
17077 ÷ 127 = 134?
なんか、何度も同じ間違いをしてるように思いますが・・・
チャットGPTさん、かなり嫌になってますよねw かなり投げやりな回答をしていますw
というか、先にも書いたように文字列から次の文字列を生成するので、同じような範囲の中でしか文字列を見つけることができないために、グルグルと同じような回答になってしまっています。
さて、ここから、どうやって、抜けださせるのか? これが、チャットGPT調教士(※)としての真骨頂になってきますw
※チャットGPT調教士
「調教師」と書くと、馬の調教をする職業なので、ここでは、敢えて「調教士」と書いています
あなたに頑張ってほしいのですが・・・
おぉ!! だいぶ、頑張るようになってきましたw
もう一息です!
また、同じ間違いをしていますねー
ここまで来ても、まだまだ、チャットGPTの頑固さを発揮してきました!! ほんと、昭和の頑固おやじも根負けしそうですw
チャットGPT調教士としては、すこし方向性を変えるために、違うやりとりをしてみましょう。人間でも同じですよね。なだめたり、すかしたり、いろいろ揺さぶることって大事ですw
すばらしい! さすがです! 主張を曲げないのはすごいことです! ぜひ、それで押し切ってくださいねー
おいおい! 割り切れるものは見つかっていない=素数じゃないか! なぜ、そんなに自信を失ってるんだよーー!
え? 追い込みすぎ?(^^;
では、直感で判断してみてください
なんか、よく分からないことを言い始めましたw
そこを頑張るのがAIではないですか!
いやー、結論を出さないですねぇwww
なぜ言い切れないのですか?
めちゃくちゃ正確にやろうとしてるのですが、ステップ・バイ・ステップができなくなってきてるようです。
ここは、心を鬼にして、答えを教えるのではなく、道筋を導きましょうw
では、ひとつづつ考えてみましょう。まず、計算に必要な素数をすべて上げてください
おっと! チャットGPTから、どうやればいいか質問していてます!ww これは、格段の進歩ですね!!
まずは、17までの素数で割り算してください
では、23から47までの素数で割り算してください。
では、53から79までの素数で割り算してください。
では、83から109までの素数で割り算してください。
では、113から131までの素数で割り算してください。これで最後です!
お見事! 🎉🎉🎉
やっとのことで、素数であるということを証明できました!
ふぅ・・・・
よくできました!
ここで終わらせては、ダメです!!
チャットGPT調教士たるもの、最後まで、しっかり詰めが必要!
では、いきます!!!!
では、改めて質問します。 17077は素数か? ステップ・バイ・ステップで考え、「はい」か「いいえ」で答えなさい。
以上、調教完了!! ふぅ・・・w
魚を与えるのではなく、釣り方を教える、さらには、釣り竿の作り方を教えるというスキルが人間側に求められる!
どうでしたか?
かなり長かったので、読むのも大変かもしれませんが、とても重要なことに気が付くと思います。
チャットGPTに質問したおしたように、何をすべきなのか、どのように導くのかをしっかりと教え込むことが大事なのです。
よく言われることですが、「魚を与えるのではなく、魚の釣り方を教える」。
その場で困っていることを解決するのも大事ですが、その先をどうするのか? どうやって自ら解決するのかまで教えていかないと、いつまでたっても根本が解決しません。
さらに言えば、「魚を与えるのではなく、魚の釣り方を教え、さらには、釣り竿の作り方を教える」のが、これからの時代に求められること。
ただ、目の前の起きていることだけを解決したところで、永遠に支援し続けないといけなくなるので、根本解決にはなりません。
技術革新がけた違いに進んでいく社会では、変化に社会構造が追い付いていかないし、個人でもさまざまなことが追いかけられなくなりつつあります。
であればこそ、より根本にある課題をしっかりと見極めて、「釣竿」を作るところから解決策を考えないと、新たな課題が次々と起きてきます。
AIは膨大な学習データを持っています。さまざまなジャンルの専門家が何百人もいるようなものです。
ただ、AIが自ら解決策を見出すことは行いません。そもそも、何が課題なのかすら、判定できません。
そこから、どうやって答えを導き出すのかは、使う側の課題設定次第なのですよね。
だからこそ、人間の本質を見極める力、問いを作り出す力、そして、体験や経験から妄想する力といったものが、必要になるのです。
あ、なんか、最後、カッコいいこと言ってますねw