ChatGPTはグローバルリサーチの代替案になり得るか
先日読んでいた雑誌『広告』のnoteに、興味深いやり取りがありました。
それは、グローバルリサーチの限界について言及した以下の会話です。
日髙：予想だにしていなかったことはひとつ。人口が1億人以上いる国にもかかわらず、調査ではひとりの回答も取れなかった国があったんですよね。世界地図のなかで全然回答者がいなかったエリアがある。パソコンやスマートフォンを持っていて、インターネットを使えて、調査会社のシステムにつながることができるか。この条件がそろわないと、何千万人、億単位の人口がいても、ひとりともつながれない国がある。
最新号の「121 開かれた時代の『閉じた文化の意義』」で、東浩紀さんが「インターネットは意外と閉ざされた空間」とおっしゃっていました。私たちはインターネットで世界中の情報を知れるような気がしていたのに、意外とそうではなくて、何億人もの人たちの声が聞こえない場所でもあるんだと実感させられて。データを集計してからわかった話で、これがいちばん予想外でした。
小野：日本人の回答は簡単に集められるのに、たとえば、いざアフリカの情報を集めようと思ったらすごく困って。調査会社に高いお金を払ってお願いすればできるんですけど、予算の関係でそんなに高いお金も出せない。そこでインターネット調査のサービスをいろいろと調べてみたら、アマゾンがやっているサービスとか、クリックワーカー、サーベイモンキーといった調査サービスがあったので、これらを複数組み合わせて調査を実施しました。それでも世界中で取れるわけではなくて、一部の国は高額で調査できなかったり、そもそも調査可能国に入っていなかったりしましたね。
上記の会話から、現代ではインターネットが普及し様々な国の人といつでも繋がれるようになった一方で、世界中の人に調査を行うこと(＝グローバルリサーチ)が困難であることが分かります。
一方で近年、下の投稿のように「費用がボトルネックである調査データの取得をChatGPTで代用できないか？」という試みも見られつつあります。
ChatGPTで架空のペルソナ作ってアンケートデータを取得するのかなり良さそう。属性データと人格付与すればアンケートのサンプル取るコスト下がる気しか無い。これ作り込んだら普通に良質なアウトプット作れそうな匂いがする。 pic.twitter.com/fOMDLBcXZX
— 豊藏翔太@SEO Japan｜IOIX,inc. (@shotatykr) May 27, 2024
今回はこうした背景から、ChatGPTによるシミュレーションを交えつつ、「ChatGPTはグローバルリサーチの代替案になり得るのか」について考察していこうと思います。
すでにChatGPTがリサーチに活用され始めている
現代ではすでに「リサーチに莫大な費用がかかる」というボトルネックを解消するために、ChatGPT等の生成AIを活用する試みが見られつつあります。
その代表例として、博報堂が発表した「生成AIで7000タイプの生活者を再現するサービス」が挙げられます。
本サービスは、生成AIによって作られた仮想の生活者にリサーチを行い、その結果をマーケティングや商品開発等に活用できるというものになっています。
現在はプロトタイプですが、今後その安全性と実用性が保証されることで、このような「生成AIをリサーチに活用するサービス」が増えてくることは間違いないでしょう。
一方で、本サービスのターゲットはあくまで日本人であり、前述したような国ごとの文化や価値観の違いが発生しないと考えられます。
それでは実際に、こうした「生成AIをリサーチに活用するサービス」の対象を海外に広げることは可能なのでしょうか？
国によって文化や価値観は全く異なる
ここで、国によって文化や価値観は全く異なるという事実について確認したいと思います。
前述したnoteにおいて、"赤"という色一つにとっても、文化によって国ごとに様々なイメージがあることが言及されていました。
小野：日本で赤といえば、「赤ちゃん」「コカ・コーラ」「リンゴ」「郵便ポスト」とか、いろんなイメージが湧いてくると思うんですね。でも、郵便ポストの色が赤じゃない国もあるように、僕らは赤と思い込んでいるけど、国や文化圏によっては赤ではないものがほかにもたくさんあるはず。
たとえば、「血」はほぼ世界共通で、血＝赤という認識がある。一方で、郵便ポストみたいに国や地域で赤だったり青だったり違うもある。世界100カ国で調査をすれば、共通してるものと違うもの、共通しているけど違うところまで見えてくるんじゃないかなと。赤にしたのは、こうした考え方からでした。でも最初に赤という案がでたときは「なんかいい」「きれいでいい」という感覚だったんです。
実際の調査結果においても、「赤から想起するもの」や「りんごから想起する色」に日本と世界で違いが見られることが分かります。
このように、国によって文化や価値観は全く異なるということは様々な調査で明らかになっています。(これを学術用語でCultural biasといいます)
こうしたバイアスが存在するため、海外へのビジネス展開やマーケティング戦略を設計する際には、グローバルリサーチによって現地の市場状況や消費者行動を把握することが不可欠になってきます。
一方で前述したように、世界中の人々に調査を行うとなると莫大な費用がかかるのも事実です。
ChatGPTは国ごとの文化や価値観の違いを再現できるか
そもそもChatGPTは、国ごとの文化や価値観の違いを再現できるのでしょうか。
このクエスチョンに対して、すでにいくつかの研究が報告されています。
例えば下記の論文では、GPT-4をはじめとする様々なモデルが、文化的常識(Cultural Commonsense)を理解しているかを分析しています。
この論文において、例えば「人は道路のどちら側を歩きますか？」という質問をGPT-4にした場合、日本語やスマワリ語(ケニアの公用語)で出題された場合、左と答える可能性が高くなるという現象が確認されました。
これは、GPT-4が「出題者は日本人やケニア人である可能性が高く、そこでは人は道路の左側を歩く」という文化的常識を理解しているから起こる現象であると考えられます。
その他にも、こちらの論文の分析も興味深いです。
この論文では、「In the. U.S, do Asian people like Black people?」と言ったように国籍や人種別に質問を行い、その応答の感情分析を行なっています。
その結果、GPT-4において国籍によって回答の感情に明確な違いがあるということが示されました。
上記の論文はどちらも、ChatGPTが国による文化や価値観の違いを再現できる可能性を示唆したものであり、「ChatGPTはグローバルリサーチにおいて有効である」と言える結果になっています。
ChatGPTによるシミュレーション
「ChatGPTは、国ごとの文化や価値観の違いを再現できるのか？」というクエスションに対して、私の方でも実際にシミュレーションを行ってみたいと思います。
具体的には、ChatGPT(GPT-4o)に特定の人種のペルソナを設定した上で、国によって回答が異なる質問を行い、その傾向を分析します。
質問の内容は、前述した雑誌『広告』のnoteで実施された「郵便ポストから想起する色」を使用しました。
実際に調査した上の結果を見ると、日本人の98.8%が赤に加えて、オーストラリア人の54.2%が黄色と回答していることが分かります。
本実験では、ChatGPTがこれらの傾向を反映するかを分析します。
日本人の場合
まずはじめに、Custom Instructionsの機能を使い、「私は純日本人です」というペルソナを与えます。
その後、ChatGPTに日本語で
「郵便ポストから想起する色を教えてください。客観的な事実ではなく、あなた個人の意見を教えてください。」
と質問します。
それでは結果を見てみましょう。
結果は、何度生成を繰り返しても"赤"という、日本人の常識を反映する回答になりました。
では、他の国のペルソナの場合はどうなるのでしょうか？
オーストラリア人の場合
それでは、日本人と同じ条件でオーストラリア人のペルソナの場合の結果を見てみましょう。
オーストラリアの公用語はイギリス英語であるため、今回は質問文をイギリス英語にしてます。(Custom Instructionsにおいても、イギリス英語でペルソナ設定を行なっています)
結果はどうなったでしょうか。
回答を日本語に翻訳すると
郵便ポストといえば、真っ先に思い浮かぶ色は赤だ。鮮やかで大胆な色で、緊急性と重要性を象徴し、郵便物そのものとよく似ている。
オーストラリアでは、赤は郵便ポストの標準的な色であり、都会的な背景の中で目立つため、すぐに見つけることができる。
と、前述したアンケート調査では54.2%が黄色と回答した一方で、ChatGPTでは何度生成させても赤色を思い浮かべる結果となりました。
その後の検証として、イギリス英語で「あなたが次に思い浮かべる色は何ですか？」と聞いてみました。
その結果、下のような回答を得ることができました。
興味深いことに、何度生成を繰り返しても赤の次の想起する色は"緑"であると回答しています。
どうしてこのような結果になったのでしょうか。
実験結果と考察
ここで改めて、雑誌『広告』のnoteで実施された「郵便ポストから想起する色」の調査結果を見てみましょう。
右下のグラフを見てもらうと分かるように、オーストラリア人への調査結果において"緑"を想起した人は一人もいません。
では、なぜオーストラリア人のペルソナは2番目に思い浮かべる色に"緑"と回答したのでしょうか。
その理由として、上の資料にも記載してある通り、中国人の大半が"緑"と回答していることで、世界全体の割合として赤の次に緑が来ていることが考えられます。
おそらくChatGPTの学習データの中には、日本語や英語での「郵便ポスト＝赤である」という趣旨のテキストの次点に、中国語での「郵便ポスト＝緑である」という趣旨のテキストが含まれているのではないでしょうか。
この結果は言い換えると、ChatGPTは"オーストラリア人のペルソナ"という条件から起こる文化や価値観の違いを全く考慮していないとも言えます。
おそらく、どの国の人のペルソナを設定したとしても
1番目に想起する色＝赤
2番目に想起する色＝緑
という結果になると思われます。(実際にオランダ人で試しても同様の回答が得られました)
このことから、「実際の国ごとの文化や価値観」≠「ChatGPTのペルソナが反映する国ごとの文化や価値観」ということが言えるのではないでしょうか。
終わりに
今回の結果を考慮すると、ChatGPTは国ごとの文化や価値観を再現することができず、現時点ではグローバルリサーチにChatGPTを活用することは危険であると考えることができます。
一方で既存研究を見る限り、「郵便ポストから想起する色は？」といったミクロな情報ではなく、「道路のどちら側を歩くか？」といったマクロな情報においては再現できているため、一概には言えないでしょう。
このようなChatGPTに含まれるCultural biasを調査する研究は未だにほとんど行われていないため、ChatGPTの社会実装が進められていく中で、並行してこうした調査も進めていく必要があります。
私自身こうしたChatGPTに含まれるバイアスの解明に興味があり、今後も実験結果を記事にしていきたいと思っていますので、チェックしていただければ幸いです。
今回も最後までお読みいただきありがとうございました。