ふと疑問になったので、試してみました。
出題は下記のとおりです。
アメリカの各都市をサンプルとしたとき、教会の数と犯罪数の相関係数を算出したところ、高い正の相関の値がでました。理由について考察してください。
GPT3.5の回答
正の相関だと言明してプロンプトをしているにも関わらず、負の相関だと捉えて回答してしまいました。残念な結果です。
では、賢いと言われるChatGPT4ではどうでしょうか?
GPT4の回答
おぉ、理解してるっぽいです。そこで追加の質問。
これらの説明からすると、この相関はどういうタイプの相関と呼ばれますか?
たしかに、GPT4は、3.5より賢いのでしょうね。
個人的に気に入っている、Claude2にも訊ねてみました。
やっぱりClaude 2は賢いですね。
GPT4にも訊ねた下記の質問も投げかけました。
これらの説明からすると、この相関はどういうタイプの相関と呼ばれますか?
しっかりした回答です。
注意点ですが、この教会の数と犯罪数の正の相関は有名な例なので、その解説を学習していて回答している可能性が高いと思われます。
その点で、本当に、疑似相関を見破るような考察ができるかは、さらに検討する必要があるでしょうね。
以前の記事でとりあげたように、推論は実はLLMsは得意でないという論文もありましたので、疑似相関を見破ることができるという結論に飛びつかないでください。
#IT #ChatGPT #ChatGPTの使い方 #ChatGPTに訊いてみた #AI #AIとやってみた #Claude2 #疑似相関