ChatGPTのウソ回答に騙されない方法
ChatGPTから効率よく知識を得られた。
と自分では思っていても、それがウソ知識であることは、よくあります。
そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。
たとえば、今、僕はガリア戦争(紀元前58～50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。
そこで、以下のようにChatGPT(GPT4)に聞いてみた。
ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？
ChatGPT(GPT4)の回答は以下の通り：
ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル（約18インチから24インチ）の長さで、両刃の短剣でした。ローマ兵はこの剣を主に刺突に使用し、敵を倒すために近接戦闘で活用していました。
これ、信用していいんだろうか？
ChatGPTは、質問者の言うことを否定しないように回答するという性質がある。
「ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？」という質問は、「考古学的資料もしくは文献によって、長さが判明している」ということを、暗黙の前提にして質問してしまっている。
こんな質問の仕方だと、もし、そんな考古学的資料も文献も存在しない場合、ChatGPTはウソ回答をでっちあげるのではないだろうか。
ChatGPTにウソ回答をさせないためには、暗黙の前提を置かない質問をした方がいい。
そこで、別スレッドを立てて、ChatGPT(GPT4)に、以下のように聞いた。
古代ローマ軍の研究者として答えて下さい。
ガリア戦争に従軍したローマ兵の剣の長さを推定するための手がかりとなる考古学的資料もしくは文献は存在しますか？
つまり「エビデンスが存在するかどうか」を聞いたのだ。
「研究者として」答えるのであれば、エビデンスがなければないと言うだろうし、あればあると言うだろう。
するとChatGPTから以下のような答えが返ってきた。
古代ローマ軍の研究者として答えます。
ガリア戦争に従軍したローマ兵の剣の長さを推定するための手がかりとなる考古学的資料や文献は、確かに存在します。ガリア戦争は、紀元前58年から紀元前50年にかけて、ローマ共和政の終盤に行われた一連の戦争で、ガイウス・ユリウス・カエサルがガリア（現在のフランス、ベルギー、スイスの一部）の征服を行いました。
従軍したローマ兵たちは、一般的にグラディウスと呼ばれる短剣を使用していました。これは、ローマ軍の主要な歩兵用の剣で、主に刺突に適した設計がされていたことが特徴です。グラディウスは約50センチメートルから60センチメートルの長さが一般的でしたが、時代や場所によって若干のばらつきがありました。
考古学的資料としては、遺跡から出土した実際のグラディウスやその他の武器、防具が参考になります。また、古代の彫刻や壁画などの美術品も、兵士たちがどのような武器を持っていたかを示す手がかりとなります。
文献資料としては、ガイウス・ユリウス・カエサル自身が著した『ガリア戦記』が重要な情報源です。この著作は、ガリア戦争に関するカエサルの視点からの詳細な報告が記されており、ローマ軍の装備や戦術に関する情報も含まれています。他にも、ティトゥス・リウィウス、プルタルコス、アッピアノスなどの古代の歴史家たちの著作も、ローマ軍の装備や戦術に関する情報を提供しています。
(太字引用者)
エビデンスは「確かに存在します」と断言してる。
それも、たくさんのエビデンスがあるようだ。
しかも、ちゃんと情報ソースも示している。
その情報ソースも、ガリア戦争をやった張本人であるカエサル自身が書いた文献だから、信頼性は極めて高い。彼は、侵略を正当化するためのウソはつくかもしれないが、剣の長さについてウソをつく動機はない。
これは信じてもいいんじゃないだろうか。
ただ、念には念を入れて、塩野七生さんの『ローマ人の物語』で裏取りをしてみた。
この本は累計発行部数1800万部のベストセラー作品である。
もし、これにウソが書いてあったら、めちゃくちゃ多くの人が騙されていることになり、大問題である。
というわけで、『ローマ人の物語』の「ユリウス・カエサル ルビコン以前」の巻を「グラディウス」という単語で検索して、裏取りをしてみた。
すると、紀元前53年(ガリア戦争の期間中)の出来事として、以下のような記述が見つかった。
スキピオ・アフリカヌスが導入して以来ローマ軍の正規の剣になっている、グラディウス剣と呼ばれた短かめの両刃の剣
(太字引用者)
塩野七生さんは「短めの剣」と言っているが、ChatGPTの回答の「50センチメートルから60センチメートル」は、たしかに「短めの剣」という形容にふさわしい長さだ。
矛盾はない。
これは、「裏とりができた」と言っていいんじゃないだろうか？
しかし、「ベストセラー作家の書いた本だから、事実が書かれている」と考えていいんだろうか？
もし、ベストセラー作家の書いた本だからといって信用できるとは限らないとすると、信用できないChatGPTの回答を信用できない小説家の本で裏取りしていることになってしまい、裏を取ったことにならない。
そこで、さらに念を入れて、Wikipediaでも調べてみた。
すると、以下のような記述があった：
配備期間 紀元前4世紀から紀元後の3世紀
刃長 45-68cm
ChatGPTの回答の「50センチメートルから60センチメートル」よりも多少レンジを広めにとっているが、これは、対象とする期間を広くとったためだろう。矛盾はない。
ChatGPTの回答は、かなり信用できると見ていいんじゃないだろうか。
しかし、そもそもWikipediaの記述って、信用できるんだろうか？
信用できないChatGPTの回答を、信用できない小説家と信用できないWikipediaで裏取りして、それは裏取りしたことになるんだろうか？
ではBingAIに聞いたらどうだろうか？
実は、BingAIの会話モードには「厳密」というモードがある。
これを使えば、信頼性の高い回答が得られるのではないだろうか？
というわけで、聞いてみた。
ぼく：
ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？
厳密モードのBingAI：
ローマ軍団兵が使用した剣の一種にグラディウスというものがあります。その刃渡りは約50cmで、柄まで入れると約70cmほどでした。
(太字引用者)
おお。
ChatGPTの回答の「50センチメートルから60センチメートル」と、そんなに違わない。
これで、ChatGPT、塩野七生、Wikipedia、BingAIの厳密モード、の4つの情報ソースの回答がすべて一致したことになる。
これは、ほぼ信用していいんじゃないだろうか？
これだけの情報ソースがみな同じ回答をしているのに、さらに疑うのは、異常に疑り深い人だ。
しかし僕は異常に疑り深い人なので、念のため、ChatGPTが根拠として挙げた一次資料であるユリウス・カエサルの『ガリア戦記』を読んでみることにした。
ただし、僕はラテン語が読めないので、中倉玄喜氏が翻訳した『ガリア戦記』を読んでみた。
すると、以下のような記述が見つかった。
軍団兵が腰におびていた剣は、先が尖った両刃の剣で、長さは比較的短いものだが、これは白兵戦のときに自由に操れることと、相手に対する打撃がもっとも大きい、突き刺すことに重きをおいていたことによるものである。
(太字引用者)
おお！ たしかに『ガリア戦記』に書いてある！
疑ってごめん、ChatGPT！
と思ってよく見たら、それは、カエサルが書いた文ではなかった。
その本を翻訳し、解説を付け加えた、中倉玄喜氏の解説文だったのである。
中倉氏の解説文は一次資料とは言えない。
中島氏がどれくらい信用できる人なのかもわからない。
やはりカエサル自身が書いた文に書かれていないと確証が持てない。
そう思って本文を読んだ。
そしたら、なんと、剣の長さの記述がなかった。
隅から隅まで読んだが、どこにもそんなことは書かれていない。
騙された！
ChatGPTのやろう、嘘つきやがった！
というか、冷静に考えてみれば、当時はローマ兵の剣の長さなど常識で、無駄なことを書かない主義のカエサルが、そんなものをあの本に書くはずもない。「二千年後のラノベ作家が戦闘シーンの描写のためにこの本を読むだろうから、そいつのために、剣の長さも書いておいてやろう」などとカエサルが思うわけないし。
ただし、カエサルが書いていないからと言って、それがウソだということにはならない。
むしろ、ChatGPT、塩野七生、Wikipedia、BingAIの厳密モード、『ガリア戦記』の解説文の５つの情報ソースが矛盾なく同じことを言っているのに、それを疑うのは、どうかしている。
しかし、僕はどうかしている人なので、まだ完全に信用する気になれない。
そこで、「一番信用できる情報ソースは何か？」と考えた。
古代ローマの研究者は？
古代ローマの研究者はいっぱいいる。
その中で一番信用できるのは誰か？
研究者にはそれぞれ、得意不得意があるので、
「古代ローマの軍事」を得意分野とする研究者の書いた本が良さそうだ。
そこで、「古代ローマの軍事」の専門家でエイドリアン・ゴールズワーシーという人が書いた本を調べてみた。
その人の書いた『カエサル』という本を読んでみたが、塩野七生さんの書いたカエサルの本と、ぜんぜん違う。
たとえば、「カエサルが海賊に捕まって、身代金を支払って解放された後、自分で私兵を募って、その海賊を捕らえて、身代金を取り返しただけでなく、その海賊を全員縛り首にした」というエピソードがあるが、塩野七生さんの本では、それを事実であるように書いてあるのに対し、ゴールズワーシー氏の本では、そのエピソードには、たしかに元となる話はあるのだろうが、人から人へと語り継がれるうちに、尾ひれ背びれがたくさんついているだろうから、それをそのまま真に受けない方がいい、というスタンスだ。
それだけでなく、ゴールズワーシー氏は、カエサルの『ガリア戦記』の記述に対する他の研究者の解釈にも批判的検討を加えていて、めちゃくちゃ丁寧に検証している。
そんなゴールズワーシー氏の『カエサル』という本の上巻の282ページには、以下のような記述がある。
紀元後一世紀には、ローマの軍団兵によって用いられたグラディウスは短く、刃渡りは通常二フィート以下であった。しかし、カエサルの時代にはもっと長い刃ーーー少なくとも長さ二フィート六インチで、さらに長いこともあったーーーが用いられていた。鋼鉄製で重たい刃は斬るにも突くにも適しており、その長い刃先は鎧や肉を貫通するのに向いていた。
(太字引用者)
あれ？
言ってることが違うぞ。
ゴールズワーシー氏は紀元後一世紀のグラディウスの刃渡りは2フィート(61cm)以下だと言っているが、これは、ChatGPT、塩野七生、Wikipedia、BingAIの厳密モード、『ガリア戦記』の解説者の五者の主張するガリア戦争当時のグラディウスの刃渡りの長さと一致する。
しかし、カエサルがガリア戦争をやったのは、紀元前58～50年だ。ゴールズワーシー氏は、その時の刃渡りは2フィート6インチ(76cm)以上だったと言っている。
長いじゃん。
「短めの剣」じゃないじゃん。
ChatGPT、塩野七生、Wikipedia、BingAIの厳密モード、『ガリア戦記』の解説者の五者の主張と違うじゃん。
ゴールズワーシー氏とこの五者のどっちが正しいのだろうか？
多数決で決めるなら、五対一でゴールズワーシー氏の負けである。
しかし、事実って、多数決で決めるのが正しいんだろうか？
「相対性理論は間違っている」という主張が、国民投票で過半数に支持されたら、相対性理論は間違っていることになるんだろうか？
そもそも、ChatGPT、塩野七生、Wikipedia、BingAI、解説者は、研究者のように、一次資料を念入りに吟味して書いたわけじゃない。
しかも、ゴールズワーシー氏は、古代ローマの軍事を専門とする研究者で、この分野では世界的な権威である。
もちろん、権威が間違うこともある。
しかし、ゴールズワーシー氏の本を読めば分るが、学会というのは、めちゃくちゃ厳しいところだ。
研究者たちは、エビデンスベースでお互いの研究を懐疑し合い、検証し合い、批判し合っている。
それも、膨大な時間を使って、念入りにそれをやってる。
その厳しい批判と検証のプロセスを経て、ゴールズワーシー氏は本を書いている。
ChatGPT、塩野七生、Wikipedia、BingAI、解説者の主張は、どれも、この厳しい検証のプロセスを経ていない。
実は、ここでやって見せた調査方法は、ほんの一部でしかない。
これらの調査(AI、Wikipedia、作家の本など)を全部英語でやってみたり、グラディウスの剣の長さの時代ごとの変遷をAIに聞いたりネットで調べたりするという切り口に変えても、まるで蟻地獄のように、ある一つの誤った結論に引きずり込まれていってしまって、それが真実だとしか思えないようになってしまう。
まるで伊藤潤二のホラー漫画の主人公になったような気分になる。
その蟻地獄から抜け出すには、その分野の一番レベルの高い研究者たちの書いた文献を調べるしかなかった。
しかも、この奇妙な蟻地獄現象が起きるのは、剣の長さだけではない。
甲冑にしろ、軍団の編成人数にしろ、戦争が引き起こされた原因にしろ、たくさんの情報ソースが指し示す答えが矛盾なく一致しているのに、その一致した回答が、専門家たちが念入りに吟味して出した結論と異なることは珍しくない。
それは一見、当たり前のことのように思えるが、現実には、そんなに当たり前だとは思われていない。
ChatGPTに「ガリア戦争に従軍したローマ兵の剣の長さを推定するための手がかりとなる考古学的資料もしくは文献は存在しますか？」と聞いたときの回答は、めちゃくちゃ本当っぽくて、説得力があって、つい信じちゃう人は多いだろう。
さらに、BingAIの厳密モード、Wikipedia、ベストセラー作家、一次資料の解説者まで、一貫して同じ事を主張しているとなれば、ほとんどの人間は、めちゃくちゃそれを信じたくなる。人間には、複数の情報ソースから得られた情報が矛盾なく整合するとき、それが真実だと信じたくなるバイアスがあるからだ。
しかしながら、ChatGPTに騙されないようにするには、信じたくなる誘惑に全力で抵抗して、その分野を念入りに吟味しながら批判的な議論を積み重ねてきている専門家の書いた本で裏取りするしかない。
もちろん、ほとんどの人にとって、それはコスト的に現実的ではないので、「このChatGPTの回答、めちゃくちゃ本当っぽいけど、ChatGPTはめちゃくちゃ本当っぽいウソをつくのが得意だから、これがウソの可能性も十分あるんだな」と思いながら、ChatGPTを使い続けるしかないということになる。
一見、それは憂鬱な結論にも思えるが、少なくともそれは、「このChatGPTの回答、めちゃくちゃ本当っぽいから、たぶん本当だろう」と思いながらChatGPTを使い続けるより、はるかにマシな生き方ではないだろうか。
とはいえ、もっと現実的な方法として、もっとずっと少ない手間で、ChatGPTに騙される確率を多少下げる方法はあるので、最後にそれを紹介する。
それは、ChatGPTの「質問者の言うことを否定しないように回答する性質」を利用する方法だ。
つまり、質問から、極力、「暗黙の前提」を取り除くようにして質問するのである。
この方略を利用した質問の仕方のうち、ChatGPT(GPT4)に試して、今のところ多少なりとも効果があるように見えるものを、以下に示す：
ティップス１：「～かどうかは、分かっていますか？」
正解があるかどうかはっきりしないことを聞きたい場合に、嘘回答が来る確率を多少減らすのに使える。
例：
古代ケルトの研究者として答えてください。
ガリア戦争以前のケルト社会に公証人がいたかどうかは、分かっていますか？
ティップス２：「～について、分かっていることと分かっていないことを教えて下さい」
事実と嘘が混じった回答が来る確率を多少減らすのに使える。
例：
古代ケルトの研究者として答えてください。
ガリア戦争当時、ヘルウェティイ族が西の方へ移住しようとした理由について、分かっていることと分かっていないことを教えて下さい。
ティップス３：「推測するための手がかりは見つかっていますか？」
推測するための手がかりが存在するかどうかすら怪しいことを質問した場合の嘘回答が来る確率を多少減らす。
例：
古代ケルトの研究者として答えてください。
ガリア戦争当時のケルト人の男女の身長が概ねどれくらいだったか、推測するための手がかりは見つかっていますか？
ティップス４：「～は、どれぐらいだったと推測できますか？」
事実がはっきり分らない数値情報について聞く。
例1：
古代ケルトの研究者として答えて下さい。
ガリア戦争以前のケルトの農民の平均的な労働時間は、どれぐらいだったと推測できますか？
例2：
古代ローマ軍の研究者として答えてください。
もしガリア戦争にスコルピオが使われたとすれば、その最大射程と有効射程は、それぞれ、どれくらいだったと推測できますか？
この聞き方をすると、推測の根拠も一緒に説明してくれることが多いので、多少、ウソを検出しやすくなる。
これらが、あなたのChatGPTライフに、多少なりともお役に立てれば幸いです。
この記事の作者(ふろむだ)のツイッターはこちら。
この記事を面白いと思った人が面白いと思いそうな同じ作者の記事
科学的発見が誇張→曲解→誤解→蔓延するメカニズムの図解と簡単で効果抜群の2つの対策
エビングハウスの忘却曲線の実験を根拠にした勉強法がインチキである理由を丁寧に説明する
『科学的根拠に基づく最高の勉強法』が根拠とする論文から言えることを言っているのかちょっとだけ調べてみた
※この記事は、文章力クラブのみなさんにレビューしていただき、ご指摘・改良案・アイデア等を取り込んで書かれたものです。