おはようございます、ChatGPT部、部長の大城です。普段はNOB DATAという会社の代表やDS協会九州支部の委員長をしているデータサイエンティストです。
本日は「ChatGPTがしれっと嘘をつく問題」をどうにかしたいけど情報の正確性では「結局wikipediaの検索には敵わない」と言う話です。
イントロダクション:ハチクマについて聞いてみた
皆さんはハチクマ、と言う生物を知っていますか?
多分初めて聞いた、と言う人も多いのではないでしょうか。
以下、wikipedia先生から引用。
余談ですが私の住んでいる福岡でも、油山という山で野鳥の会がハチクマの探鳥会を定期的に開催していたりするので、その名前はたまに聞くなーという感じでしたがおそらく一般の人は???、という感じだと思います。
ということで実際のところは鳥の一種なのですが、ChatGPT-4にハチクマについて問い合わせると、以下のような回答が返ってきました。
(画像は先日作成中とアナウスしたロボ設定のChatGPT-4)
書き起こしします
うん、違いますね。ハチクマはクマじゃないです(笑)
ChatGPTがしれっと嘘をつく典型です。
ということで今回いくつか対策を考えてみました。
仮想マギシステムの導入
マギシステム、懐かしいですね。エヴァンゲリオンに出てくる3台のスーパーコンピュータシステムで、それぞれ異なる視点から合議を行うものです。
上記より引用
上記のアイディアを参考に、ChatGPT-4に合議制を取り入れてみましょう。
①仮想マギシステム導入のためのプロンプト例
今回は以下のように指示をしてみました。
(なおロボは別の初期設定をしてますので、今回は通常のWeb版経由で試しています。)
以下、文字サイズ見やすいように書き起こしです。
ちゃんと意見が合わない時に判定不能、と出してくれるのはしれっと嘘をつかれるよりはだいぶマシですね。ただ、今回は3つのシステムとも間違えています・・。
②ヒントを提供したらいけるのでは、と思い実験
次に思いつくのが、私の方から明示的に「ハチクマは鳥です」と言うヒント情報を入れたらどうなるか、と言う実験です。が、結論としてはうまくいかず、ハチクマという「架空の存在の鳥」と言う認識になっていましました。
(彼の辞書、と言うか記憶にはハチクマ、と言う言葉はないのかも・・??)
書き起こしは以下です
3台とも自信を持って間違えてる。合議制でもだめじゃん。
③英語名じゃないのが問題なのではと思い翻訳してinput
ちなみに、ChatGPTは「英語だと賢く」「日本語だとあまり賢くない」と言うことはよく言われています。これは学習のソースが圧倒的に英語が多いのもそうですし、そもそもChatGPTを開発しているOpenAI社に日本人の開発者が居ない(もしかしたらいるかもだけどtwitter上では観測できてない)、と言うのが最大の問題だと思います。
(確か今は日本が好きなシェイン・グウさんが日本語の強化については頑張ってくれてた気がします。日本語圏の頼みの綱や・・ )
話が逸れたので戻しますが、「DeepLで日本語を英語翻訳して質問したらいいのでは?」と言うのが次のアイディアです。
結論から先に言うと先にマギシステムを稼働させてしまった影響か、うまくいきませんでした。
書き起こしますね。
DeepLを信用しないとは・・なかなか頑固です。
( もし将来GoogleがAIをちゃんと作ったらもう少し信用してくれるのでは、という気もします )
しょうがないので最後の手段、wikipedia先生に頼ります。
④wikipedia先生、出番です
今回はwikipediaで「ハチクマ」を検索し、冒頭をいくつかコピペしてinputしています。まぁ実際はWikipediaまで調べたならそれ読みなよ、となるのですが今回は仮想マギシステムの実験なのでご了承ください。
以下、書き起こしです。
きましたね・・!!
まぁ、当然と言えば当然かもですが、「正しいデータソース」を参照できる場合は3つのシステムとも見解が一致しました・・!
考察と関連情報:検索システムとの連携ができたらかなり強そう
今回、色々実験してみましたが3つの別視点に分けた仮想マギシステムの合議制は一定の成果を上げたものの、「ChatGPT-4があまり知らないニッチなワード」については3台とも間違える、という結果になってしまいました。
最終的にはWikipedia先生の力を借りたわけですが、そもそもChatGPTは検索システムではなく大規模言語モデルで言葉の解釈・推論をするものですので、「検索システムとのAPI連携」が実現するとかなり強力だろうなと感じました。
ちなみにMS Bingのチャット機能では実際にChatGPT-4ベースのエンジンが搭載されており、検索も可能ですが制度については未検証です。
(以下は2023/2/17の記事。当時はまだChatGPT-3.5しか一般の人は使えなかったが、その後3月のOpenAI社の発表動画の中で裏側がChatGPT-4ベースであることが公表された)
なお個人的な所感ですが、MS BingのChatGPT-4よりオリジナルのOpenAI社のChatGPT-4の方が賢い印象があります。実際、安定稼働と安全稼働の観点で、賢くなりすぎないように各社制限をかけてる、とも噂されていますが、なんとなく体感としてはあってます。(AIをコントロール下に置かないとまた暴言とかでサービス停止になっちゃうリスクありますし)
また最近では(遅ればせながら)Googleが検索と連携するという発表もしています。個人的には世界の検索を一手に握っているGoogleの本気が気になるところですが、おそらくAIから出力される回答の正確性については一定の向上が期待できるのではと思っています。(以下は2023/4/7の記事)
その他のアプローチとしては独自開発でwikipediaを検索してinputにする仕組みを作ったり、最近OpenAI社が公開をし始めたプラグインによる外部連携など、色々と組み合わせることでの幅は広がっていくのでは、と思っています。(以下は2023/3/24の記事)
いずれにせよ、「AIは嘘をつくから使い物にならないよ(笑)」という時代はそう遠くない未来に解消する可能性もありますので、この部分の進化は引き続きウォッチしたいなと思っております。
(画像生成形で手の指がAI描けない問題も3ヶ月くらいで解決してしまった前例もありますし、何より我々一般ユーザーが今ChatGPTの教師になってますからね)
それでは長くなってしましましたがこの辺で。
皆様もどうぞ良いChatGPTライフを・・!! (大城)