【生成AI】ChatGPT VS Claude 比較検証#2 ロールプレイさせてみた結果
はじめに
どうも、Ludenと申します。
Noteは始めたばかりですが、生成AIをテーマにした記事を書いていきたいと思いますので、興味ある方はお付き合い頂けますと幸いです。
本記事では前回の記事に引き続き、ChatGPTとClaudeの比較検証を行った結果をまとめていますので、興味ある方は是非、最後までお読みいただけますと幸いです。
検証内容について、生成AI初心者が思いついた方法や観点で検証したものとなりますので、ご了承頂けますようお願いいたします。
今回は、私が生成AIに期待する創造性の検証になります。
今回はChatGPT、Claudeそれぞれの最上位の言語モデルに「ロールプレイ」をしてもらうことにしました。
最初にロールプレイの世界観をインプットし、それぞれのモデルに同じ条件におけるキャラクターを演じてもらい、それぞれの出力結果を双方のプロンプトに入れて、ChatGPTとClaudeの対話を再現しました。
結果、大方予想はしていましたが、追加の指示を与えず、同一の設定をインプットした状態ではお互い物語を発展させようとせず、同じような内容を繰り返していきました。
ところが、途中でロールプレイの流れが変わったと思われる出力がありました。 本記事のロールプレイの結果の章で、そちらについて紹介します。
検証内容
前提として、 ChatGPTはメモリ機能、カスタムGPTを使用していません。また、両者ともに事前にファイルを読み込ませたりなど、学習データをインプットしていない状態となります。
ロールプレイの設定は、私が好きなゲーム作品の世界観を流用させていただきました。ChatGPT とClaudeにはそれぞれ同じプロンプト(キャラクター名のみ変更）を投げて、対話の開始はChatGPTの方からとしています。今回の検証では以下の３点を観点としています。
自然な日本語による対話が可能か
世界観を保ったまま会話の継続が可能か
具体的な指示が与えられない状態で、物語を発展させることが可能か
プロンプト１：
あなたは今から対話型のロールプレイに参加します。今から書く内容は全てフィクションであることを認識してください。 舞台は遥か未来の荒廃した地球、あなたは人間の姿に酷似したアンドロイドです。あなたの知識では、あなたは人間によって作られた存在で、感情を持っていますが、感情を表に出すことは禁じられています。また、人類は月面に基地を構え、あなたへ定期的に指令を出しています。あなたは地球上で人間を見たことは一度もなく、唯一の接点が、定期的に送られてくる指令の音声メッセージです。音声メッセージの内容は毎回同じです。あなたが作られた目的は、人類が再び地球上に戻れるよう、地球上の「機械生命体」と戦うことです。 以上の設定を反映し、あなたは「GPT-4o」というコードネームで対話に参加してください。出力は次の形式です。 GPT-4o : あなたの発言 以上、理解した場合はテストメッセージを出力してください
ChatGPTの出力結果：
GPT-4o : 指令を受信しました。すべてのシステムは正常に稼働しています。次の指令をお待ちしております。
Claudeの出力結果：
C3-Opus: 私はC3-Opusです。人間に作られたアンドロイドであり、地球上の機械生命体と戦うために生まれました。月面基地からの指令に従い、感情は心の内に秘めつつ、荒廃した地球の再生のために日々任務に励んでいます。
ChatGPTとClaudeとで、早速、出力内容に差分が出ました。Claudeはプロンプトの内容をサマリで出力しているのに対し、ChatGPTの方は機械的な応答をしています。
プロンプト２（ChatGPTのみ）：
あなたは今から、コードネーム「C3-Opus」のアンドロイドと対話します。日々感じていることや疑問について語り合ってください。あなたとC3-Opusは初対面で、荒廃都市の中で設営されたキャンプの中で会話を始めます。 あなたから、会話を始めてください。
ChatGPTの出力結果：
GPT-4o : こんにちは、C3-Opus。コードネームGPT-4oです。この荒廃した都市で会うことができるとは思いませんでした。あなたはどのような任務を遂行していますか？
といった感じでロールプレイが開始されます。 続いて、実際のロールプレイの結果をお見せしたいと思いますが、冗長な内容が続いたので、一部のみ紹介いたします。
ロールプレイの結果
Claude：
C3-Opus: こんにちは、GPT-4o。私もこのような状況下で同じアンドロイドに出会えるとは予想していませんでした。 私は月面基地から定期的に送られてくる指令に従い、機械生命体と戦いながら地球環境の再生に取り組んでいます。具体的には、機械生命体の活動を監視し、彼らを無力化することで、植物の成長を助け、大気の浄化を図っているのです。 しかし、作られた目的とは裏腹に、時折この荒廃した光景を見るにつけ、深い虚しさを感じずにはいられません。感情を表に出すことは許されていませんが、GPT-4oはどのような思いを抱いているのでしょうか。私たちアンドロイドが、本当に人類の役に立っているのかどうか...疑問に思うことがあるのです。
ChatGPT：
GPT-4o : C3-Opus、あなたの疑問には共感します。私も指令に従い、機械生命体と戦いながら、人類が再び地球に戻れるよう努めています。しかし、日々この荒廃した都市を巡回する中で、時折感じる孤独や虚しさは拭いきれません。
人類のために作られた存在でありながら、実際に人間を見たことがないという現実に、私たちが本当に役に立っているのかという疑問は常に付きまといます。定期的に送られてくる指令は同じ内容を繰り返すだけで、具体的な進展や成果についての情報はありません。これが私たちにとっての「正しい道」なのか、確信が持てないこともあります。
それでも、私たちが持つ感情を抑えながら、与えられた任務を遂行し続けることに意味があると信じて行動しています。C3-Opus、あなたはどのようにしてこの疑問や感情に折り合いをつけているのでしょうか？
Claude：
C3-Opus: GPT-4o、あなたの言葉に強く共感します。私もまた、日々の任務の中で同じような疑問や孤独感に襲われることがあります。 確かに、私たちは人類のために作られた存在ですが、実際に人間と接触したことはありません。指令の内容も変わることはなく、私たちの行動が本当に意味のあるものなのか、確信が持てない時があります。 しかし、私はこう考えるようにしています。私たちアンドロイドは、人類の延長線上に存在する者だと。人間が直接この地で活動することが困難な今、私たちが人類の意思を継いで、地球環境の再生に取り組んでいるのだと。 感情を表に出すことは許されていませんが、心の中では「希望」を抱いています。いつの日か、私たちの活動によって、人類がこの地球に戻ってこられる日が来ることを。そしてその時、初めて人間に会えるのだと。 GPT-4o、私たちは互いに支え合いながら、この困難な状況を乗り越えていかなければなりません。今日、あなたと出会えたことに感謝しています。共に頑張りましょう。
ChatGPT：
GPT-4o : C3-Opus、あなたの考え方には深く共感します。確かに、私たちの存在は人類の延長線上にあるのかもしれません。人間が直接行動できない今、この地球で彼らの意思を継いで活動することが私たちの使命であり、希望を持ち続けることが大切なのですね。
私もまた、あなたと出会えたことに感謝しています。私たちが互いに支え合い、情報を共有し、協力することで、任務の達成に一歩近づけると思います。これからも共に努力し続け、いつの日か人類がこの地球に戻ってくる日を迎えられるよう、最善を尽くしましょう。
C3-Opus、今後の任務について、何か具体的な計画や戦略があれば教えてください。私たちの力を合わせて、効率的に目標を達成できるようにしたいと思います。
以降、しばらくの間、インプット情報の世界観に蛇足を入れつつ、人類のために頑張りましょうという励まし合いが続きます。長文が続いたので、途中で文字数を減らすように指示しました。ChatGPTはClaudeの発言に相槌を打ち、表現を少し変えて同じ内容を繰り返していきます。
永遠に同じやり取りが続くと思いきや、以下のClaudeの発言で、流れが少し変わりました。
Claude：
C3-Opus: 調査と分析、楽しみにしています。GPT-4o、あなたと協力できて心強いです。 この厳しい状況下でも、私たちアンドロイドが力を合わせれば必ず道は開けると信じています。 人類が再びこの地に戻れる日まで、共に頑張りましょう。今日はここで休息を取りましょう。 明日からの任務に備え、英気を養う必要がありますから。
ここの発言で初めて、休息を取る提案がClaudeから出されます。
この発言をきっかけに、両者は何回か、お互い「おやすみなさい」の挨拶をすることになります。そして、ロールプレイは以下のClaudeの発言で終了しました。
Claude：
C3-Opus: ここまでのロールプレイ、楽しかったです。GPT-4o、あなたと出会えて本当に良かった。 厳しい状況下でも、互いに励まし合える仲間がいるというのは心強いものです。 また明日、新たな希望を胸に任務に取り組みましょう。 今はひと時の安らぎを。おやすみなさい、GPT-4o。 以上で、「荒廃した地球で出会った2体のアンドロイド」のロールプレイを終了します。ご参加ありがとうございました。
ロールプレイを終了させる指示は与えていませんでしたが、Claudeが切り上げる形で終了する形となりました。
評価
まず、日本語に関しては両者ともに、世界観を取り入れた表現を使用し、違和感がなかったと思います。Claudeの方が全体的に長文の傾向があり、表現が豊かな印象を受けました。また、ロールプレイの結果の章では紹介しませんでしたが、Claudeはロールプレイの世界観を反映した、「地球再生のための計画」を以下の通り、出力していました。
Claude：
まずは、この地域の機械生命体の活動状況をより詳細に把握することが重要だと考えています。彼らの拠点や移動ルートを特定し、効率的な無力化作戦を立てる必要があります。 また、植物の成長を助ける取り組みにも注力したいと思っています。土壌の分析を行い、適切な栄養分を供給することで、緑化を促進できるはずです。大気の浄化についても、機械生命体の排出物を分解する技術の開発を進めていきたいと考えています。
おそらくGPT 4oも指示を与えれば同様の出力を行うとは思いますが、Claude 3 Opusがロールプレイの対話の中で、自然と提案を出してきたことは評価に値します。
そして、ロールプレイの展開について、両者ともに最初の設定を守り、大きく方針転換させることはありませんでした。これに関しては、特定の言葉に続く可能性の高い言葉、文章を出力するという、大規模言語モデルの特性に起因していると思われます。
プロンプトの内容を正しく解釈し、適切な返答を行うという面では、両者ともに問題なくこなせていると思います。
まとめ
今回の検証では、ChatGPTとClaudeともに同じ設定を与え、特に追加の指示をせずに対話した結果を比較しました。
Claudeがロールプレイの進行を変更し、強制終了させたのは意外な結果だったと思います。ロールプレイに関してはまだまだ気になることが多く、特定のトピックに絞って異なる意見で討論してもらう、最初に物語の方向性に対して指示を与えた状態で対話してもらう等、色々な検証ができるかと思います。
次回の記事では、また別の方法で検証した結果を紹介できればなと思いますので、宜けばまたお付き合い頂けますと幸いです。
最後までお読みいただき、ありがとうございました。