人間とAIの物語の伝承における違いとは？[AI narrans❷]
前回の記事では、私の研究の根幹となるhomo narransという言葉の起源と、私が提唱するAI narransの概要について解説しました。
前回の記事をまだご覧になっていない方はこちらから。
今回はさらに内容に踏み込み、既存研究により明らかになった人間とAIの再話における違いについて解説したいと思います。
再話(retelling)について
比較文学の研究者であるJack Zipesは、著書において以下のように主張しました。
"赤ずきん"や"シンデレラ"といった広く知られる物語は、人から人へと伝達される過程で人々の心に沿うように変化してきた。
これはつまり、私たちが誰かに物語を伝承する際、何かしらの認知プロセスによって物語の内容が変容することを意味しています。
この物語を伝承すること＝再話(retelling)であり、人類は昔からこの再話における物語の変容過程から、人間の認知プロセスを解き明かすそうと様々な実験を行ってきました。
そして、大規模言語モデル(LLM)が台頭してきた現代において、この再話という手法が新たに注目を集めることになります。
つまり、人間とAIの再話による物語の変容過程を比較分析することで、両者の認知プロセスの違いを見つけようと考えたわけですね。
生成AIの分析に再話を利用する論文の登場
そのきっかけとなったのは、2023年にScientific Reportsに掲載された「Humans create more novelty than ChatGPT when asked to retell a story」という論文。
本論文では、人間とChatGPT(GPT-3)に対して、transmission chain experiment(伝達連鎖法)という手法を用いて再話を行わせ、その内容の比較分析を行いました。
このtransmission chain experimentは、伝言ゲームのような形式で実験者が互いに物語を伝え合い、その内容が再話ごとにどのように変化するかを分析する手法になります。
これらをまとめると、本実験の概要は下図のようになります。
人間とAIの再話における違い
本実験により、人間とChatGPTの再話には以下の特徴が確認されました。
人間もChatGPTも物語を大幅に短縮する傾向にある
人間とChatGPTの使用する品詞には顕著な違いが見られる
人間の再話はChatGPTよりも創造性が高い
それぞれ詳しくみていきましょう。
1.人間もChatGPTも物語を大幅に短縮する傾向にある
1つ目に、人間もChatGPTも元の物語よりも有意に短い再話を行うことが分かりました。
上の表より、確かに人間もChatGPTも元の物語よりも短い再話になっていることが確認できます。
一方で、両者を比較すると、ChatGPTの方が人間よりも単語量が少ない傾向にあることが分かります。
2.人間とChatGPTの使用する品詞には顕著な違いが見られる
2つ目に、人間とChatGPTでは再話における各品詞の使用率に違いが見られました。
興味深いことに、人間は動詞・副詞・代名詞を多く使う一方で、ChatGPTは名詞・形容詞を多く使う傾向があることがわかりました。
この現象に対して本論文の筆者はこのように述べています。
The relatively high use of verbs and adverbs by humans suggests that people focus on actions and emotions, considering the link between adverbs and emotionality.
人間が動詞と副詞を比較的多く使うことは、副詞と感情性の関連性を考慮すると、人間が行動と感情を重視していることを示唆している。
つまり、人間は再話において行動を表現することで動詞を、感情を表現することで副詞を多く使用していると考えられます。
3.人間の再話はChatGPTよりも創造性が高い
私が個人的に最も面白いと思ったのが、人間の再話はLLMと比較して創造性が高いという点になります。
この創造性を測定するにあたり、本論文では物語に含まれるsynsetが再話間でどのように変化するかを分析しました。
synsetとは同義語のグループであり、上の図の例だとcar・auto・automobileが自動車を表す1つのsynset、cab・taxi・hackがタクシーを表す1つのsynsetになります。
そして本論文では、「再話ごとに新しいsynsetが出現する＝創造性が高い」と定義しました。
その結果、ChatGPTよりも人間の方が再話ごとの新しいsynsetの出現率が高い(＝創造性が高い)ことがわかりました。
本結果に対して、著者は以下のように述べています。
Once ChatGPT reaches a core version in its first retelling, in mostly replaces words by synonyms in further iterations with few new creations.
Humans, by contrast, accumulate many changes through successive retellings.
ChatGPTは最初の再話で核となるバージョンに達すると、それ以降ではほとんどの単語を同義語に置き換え、新たな創作はほとんど行わない。
対照的に、人間は再話を重ねることで多くの変化を蓄積していく。
この結果は、私が以前書いた「なぜ、生成AIに物語を書かせてはいけないのか」の主張を補強する内容であるとも言えそうです。
まとめ
今回の記事では、物語の伝承を意味する再話(retelling)の概要および既存論文から分かった人間とAIの再話の違いについて解説しました。
今回解説した論文は非常に示唆に富む一方で、私はその実験デザインや分析結果に対してある種の疑問を感じました。
その疑問とは、
人間とAIの言語処理のメカニズムを紐解くために、もう一歩踏み込んだ分析が可能なのではないか？
ということです。
ここまでの導入部分を踏まえ、次回からは具体的な実験内容の解説に入っていきますので、ぜひともチェックしていただけたら嬉しいです。
今回も最後までお読みいただきありがとうございました。