AIって本当になんでも教えてくれる万能屋さんなの？

最近仕事でもプライベートでもChatGPTをよく使っていますが、ChatGPT本当にすごいですよね。

IT業界にいる以上、最新の技術には触れておこうということで、使っていますが、AIの凄さには日々驚かされるばかりです。

ここまでくると、Googleでわざわざ検索しなくても、ChatGPTに聞けばいいし、わざわざ人に教わらなくてもChatGPTに聞いてしまった方が一元化されてて楽じゃないかとまで思ってしまいます。

しかし、同時に浮かび上がる疑問としては、

「本当にAIっていつも正しい答えを提示してくれているのか？」

という疑問です。

そこで今回はAIが本当に常に正しい答えを提示してくれているのかどうかを検証するために、ChatGPTに対して、いくつか論理的思考力を試すような問題を出して、検証してみたいと思います。

検証方法

今回は論理的思考力を必要とする問題を5つピックアップして、その回答をAIに尋ねてみたいと思います。

検証は単純で、その正答率を計算して、AIがどれだけ論理的思考力を持っているのかを検証します。

検証

第一問

ボールペンと消しゴムは、合わせて110円。ボールペンは消しゴムより100円高い。では消しゴムの値段は？

AIの答え：消しゴムの値段は5円です。
→正解

第二問

工場に200個の製品がある。
ところが、200個のうち99%が不良品であると分かった。
なんとか不良品を外に出して、工場内にある不良品の割合を98%に減らしたい。
不良品をいくつ外に出せばいいだろうか？

AIの答え：不良品を100個外に出せば、工場内にある不良品の割合を98%に減らすことができます。
→正解

第三問

A,Bが帽子をかぶらされ、向かい合って座っている。
自分の帽子は見えないが、相手の帽子は見える。しかし、お互いにコミュニケーションをとることはできない。
帽子の色は赤か青。2人とも赤、2人とも青、というパターンもありえる。
2人は同時に「自分の帽子の色」を宣言して、2人のうち少なくとも1人が正解しなければならない。
2人は帽子を被らされる前に相談ができる。
どのような戦略をとればいいだろうか？

AIの答え：「相手の帽子の色を自分の帽子の色だと宣言する」
→間違い

正しい答え：一人が相手の帽子の色と同じ色を宣言し、もう一人は相手の帽子の色と違い色を宣言する。

第四問

AとBの二人が、ジャンケンで10回勝負をした。
Aはグーを3回、チョキを6回、パーを1回出した。
Bはグーを2回、チョキを4回、パーを4回出した。
あいこには一度もならず、お互いに何の手をどの順番で出したかは覚えていない。
多く勝ったのはどちらか？

AIの答え：AがBより多く勝ちました。(8勝2敗)
→間違い

正しい答え：7勝3敗でAが多く勝った。

第五問

1~5の番号が書かれた5つの箱がある。
箱は1,2,3,4,5の順で一列に並んでいる。
このはこのどれか1つに猫が隠れており、夜になると必ず、1つ隣の箱に移動する。
朝になった時、あなたは1つだけ箱を調べて、そこに猫がいるかどうかを確認できる。
どうすればあなたは猫を確実に見つけることができるだろうか？

AIの答え：箱1→3→2→4→5の順番で調べる。
→間違い

正しい答え：箱2→3→4→2→3→4の順番で探すことで遅くとも6日目には、確実に猫を発見することができる。

※ 各問題の詳細な解説については、ご要望があれば別の記事でまとめます。

検証結果

検証結果としては、5問中2問正解といった結果で、正答率としては40%でした。

結果としては、簡単な計算を伴うような問題は問題なく正解できていたが、文章が長くなり複雑な問題の正答率は悪くなったというような結果でした。

今回私が選んだ問題は後半3問は特に複雑で、今のAIはどこまでできるのかというところが気になったので、あえて難しい問題にしました。

ただこれ少し怖いなと思ったのが、AIは答えが間違えていたとしても、その答えが正しいかのように、しっかりと考えを導出した過程も示しながら回答を提示してきます。

私は全ての問題の答えを知っていたので、騙されませんでしたが、もし自分が答えを知らなかったら、納得してしまう可能性もあるなと思ってしまいました。

今回は軽い検証なので良かったですが、これが仕事で特に重要な場面だったと仮定すると結構恐ろしいですよね。

話を戻しまして、今回の検証から言えることは、
「AIがそういう答えを出したから」というのは本質的に回答になっていないということがわかるかと思います。

AIは確かに便利ですが、AIが出してくる答えは全てが正しいわけではないので、自分で考える力や本当にそうかと疑う力はこれからもAIと共存する上で必要になりそうです。

逆にいうと、こういった論理的思考力はまだまだAIが欠くところであるので人間の必要性が証明できたのではないでしょうか。

まとめ

今回の検証により、AIはいつも正しい答えを提示するわけではないため、これからも人間として論理的思考力は必要であるということがわかりました。

今回複雑な問題を多く取り入れたということが原因だとも思いますが、AIの正答率が良くなかったので、

「AIなんてあんまり使えないじゃん」と感じてしまった方もいるかもしれません。

しかし、それは大きな間違いで、AIは間違いなくこれから我々の生活を大きく変える力となります。

AIとうまく共存するための一つのコツはAIを人間のパートナーのように扱うことですが、ということはつまりAIが一度間違えたくらいで切り捨ててしまってはいけないのです。

考えてみれば我々人間だって誰でもミスはします。
でも、だからといって一度ミスした人間を切り捨てるようなことはしません。

これはAIを扱う上でも同じです。
AIが上手い答えを出せなかったら、自分の指示を見直してみるなど、人間のように扱うと見えてくるものはきっとあるはずです。

AIと人間、お互いの弱い部分をカバーし合って共存できれはイノベーションがどんどん生まれてくるんじゃないかと考えています。