BingチャットのChatGPT-4で人口の数字を出してもらう実験と数値の正確性に関する注意喚起

2023年4月5日 10:00

おはようございます、ChatGPT部、部長の大城です。水曜日は比較的時間があるので朝投稿です。

今日は初心者向けに、MS EdgeのBingでのチャットの話です。
サマリとしてはBingのチャットは裏側がChatGPT-4ベース、またURLも検索可能という内容です。
(ただし、検索ではなくチャットでの文章生成なので、数字を鵜呑みにするのは危険というちょっと残念な結果に。でもざっくりは把握できるかもです)

MS BingのチャットはChatGPT-4ベース

結論から言うとこちらなのですが、まだ９割くらいの人は触ったことないのではと思いますので情報提供をば。

活用方法： MacユーザーはEdgeを入れてbingでチャットを選択

私は基本Macユーザーなので、こちらの解説になるのですが、MS Edgeという検索ブラウザを入れて、そこからbingに行き、Chatのタブをクリックすると以下のような画面が出ます。

そうすると、MS Bing版のチャット機能(裏側はChatGPT-4ベース)が登場します。

次にその特徴です。

特徴：Webの検索が可能

こちら、「Webの検索が可能」に尽きます。オリジナルのOpenAI社のWebブラウザ版だと2023/4/5現在、外部のURLを参照することは出来ません。
(確か、API版だとその機能があるようですが、開発者じゃないとAPI利用はちょっとハードルが高いので割愛)

実際に試してみたのが以下です

実際に検索してきたのはこちらのサイト

統計局ホームページ/人口推計/人口推計（2021年（令和3年）10月1日現在）‐全国：年齢（各歳）、男女別人口・都道府県：年齢（5歳階級）、男女別人口‐ (stat.go.jp)

欲しい情報がふわっとした指定で取得することができました。
通常のWeb検索エンジンだと「人口　年代別　統計」とかで検索して、いくつかのサイトを見て回る必要があるので、自然言語の形の相談ベースでレコメンドしてくれるのは便利なポイントの一つと言えます。

応用：データを加工してもらう (失敗のパターン)

ここまでは通常のWeb検索エンジンでも頑張れば出来ますが、もう一歩進めてみます。サイトの中のデータを出力してもらおうと思います。

(注意：なおURL参照してからのデータ抽出の精度は現時点では微妙なケースがあるので、ダブルチェックは必要です)

まず、失敗のパターン。先ほどの総務省統計局のURLを指定しましたが、データのダウンロードが必要のようで想定した動きは得られませんでした。（手順は教えてもらえました）

次に、少し工夫してプロンプトを投げてみます。
(ただし、データの正確性は注意が必要)

応用：データを加工してもらう (成功のパターン)

先ほどのURLにこだわらず、「あなたが参照可能なデータソースはないでしょうか？」というプロンプト(指示)を投げてみました。

今度は行けそうな雰囲気。続けて年代別。

それっぽいものは出ましたが、まだ注意が必要です。数字が適当なケースがあるからです。これを鵜呑みにして資料を作ると、えらいことになります。

現状のChatGPTは従来のチャットボットとは異なり確率的に回答を作り出す仕組みを中心としているので、それが検索した正しい数字なのかどうかは常にチェックが必要です。(従来のチャットボットはどちらかというと検索エンジンの補助的な立ち位置なので、正確な情報を引っ張ってきて回答。ChatGPTは回答は自動生成なので注意が必要です）

検証①：先ほどの数字が正しいかチェック(総人口)

総人口から見ていきましょう。

・ChatGPTの先ほどの回答
　・2015年度の人口：1億2677万人
　・2020年度の人口：1億2623万人

これを検索エンジンで一つずつ調べるアプローチですが、なんとBingの検索エンジンめっちゃ優秀でした・・。データソース表示してくれてます
(知らなかった・・！！)

あれ、でも「この時点で合計値違うのでは」というのに気が付きました。
2020年度も見てみます。

2023年度は四捨五入すれば一致なのでいい感じですね。
比較すると以下のような形です。

・ChatGPTの先ほどの回答
　・2015年度の人口：1億2677万人 ●こちらは少なく出ている
　・2020年度の人口：1億2623万人 ●こちらは一致

・検索してのサマリ
　・2015年度の人口：1億2711万人
　・2020年度の人口：1億2623万人

データソースや集計タイミングによるかもですが、正確な数字はBingのChatGPT-4に求めるのは危険かもしれません。
(90%精度、位のざっくり感ならまだ使えるかもですが・・)

検証②：先ほどの数字が正しいかチェック(年代別)

さらに、年代別の方です。こちらは検証に時間がかかるので簡易的に確認してますが、エクセルでChatGPT出力の合計値を取ってみました。
よくよくみると2020年は「12,3100万人」という間違えた数字が入っていましたのでそちらは単位は削除してますが、2015年だけみても「合計値が先ほどの内容と一致しない」という部分も見て取れます。だめだこりゃ。

確か日本の総人口は1.3億人を超えたことはなかったと思うので、こちらもダウトですね。念の為、2015年の国勢調査の数字でも比較してみました。

国勢調査平成27年国勢調査人口等基本集計（男女・年齢・配偶関係，世帯の構成，住居の状態など）全国結果 | ファイル | 統計データを探す | 政府統計の総合窓口 (e-stat.go.jp)

結果がこちら。

全体としては4.1%程度の誤差ですが、55-59歳などはChatGPTの方が33.6%くらい少なめで出てますので、この辺まそのまま使うのはやはり危ないかなぁという印象です。(せめてプラマイ10%くらいの誤差ならまだ簡易分析に使えるんですけどね)

おそらくステップバイステップでやる、とかいくつかのプロンプトの工夫で改善の余地があるとは思いますが、「数字については人間でチェック」というのは行った方が安心だと思いました。

まとめ

OpenAI社へ１兆円規模で投資を表明しただけあって、MS Bingの進化が目覚ましいですね。またBingのチャットではWebの検索が出来るという特徴があります。
一方で検索エンジンではないため、「正確な数字の出力」はまだまだ苦手な模様です。この辺りは人間がちゃんとチェックして使うのが良いかと思います。

それでは皆さまもどうぞ良いChatGPTライフを・・！！ (大城)

この記事が気に入ったらサポートをしてみませんか？