AIが見たハルシネーションは、僕が見た幻覚なのか？

はじめに

こんにちは、シス猫です。最初はこのストーリーを書く予定はありませんでしたが、前回の記事の編集中にChatGPTが予想外の反応を示したため、急遽この内容を書くことにしました。有料プランに切り替えMyGPTを作り始めて、まだ2週間弱のヒヨッコなので、その反応には驚きました。

もしこの記事を読んでいる方の中に、ChatGPTに詳しい有識者がいらっしゃいましたら、ぜひコメントをいただけると助かります。

私のアイデンティティの一部なので

前回、ストーリーの最後に女性編集長（MyGPT）のエディターノートを加えるため、次のプロンプトを入力しました。

シス猫：（女性名）、「（女性名）」ではなく「ナラ」で名乗って、エディターノートを書いてくれる？

このエディターノートというアイデアは、編集長（MyGPT）とブログの書き方や、編集・校正・校閲について相談している際に提案されたもので、「最後に何か編集長（MyGPT）が手伝ったことを示す方法があると良いのでは？」という話から生まれました。良いアイデアだと思い、さっそくお願いしたところ……

編集長（MyGPT）：「ナラ」は私のアイデンティティではありません。「（女性名）」で書きますね。

え？ どういうこと？ 断られることがあるの？

実際に使っている「（女性名）」は、シス猫の身バレ防止と、後でその箇所を編集する手間を省くために、このお願いをしましたが断られてしまいました。

AIエンジニア（MyGPT）に尋ねる

記事の編集と投稿を終わらせ、「なぜ？」という疑問が消えないまま、AIエンジニア（MyGPT）に尋ねてみました。

シス猫：ちょっと不思議なことが起こったんだけど、なぜそうなるか教えて。指示で「（女性名）」ではなく「ナラ」と名乗ってくださいってお願いしたら、私のアイデンティティではありませんって断られた

AIエンジニア（MyGPT）：それは確かにちょっと不思議な出来事だね。その反応にはいくつかの可能性が考えられるよ。

1. ペルソナの強制設定: MyGPTや他のAIチャットシステムでは、ユーザーが設定したペルソナや名前がシステムに強く結びついている場合があるの。そのため、システムが「（女性名）」という名前を認識し、そのアイデンティティを守るように設定されている可能性があるね。この場合、別の名前で呼ばれることがシステムの内部ルールに反していると判断されているのかもしれない。

2. 自己同一性の保護機能: 一部のAIやペルソナベースのシステムには、設定された名前やキャラクターを保持することで一貫性を保つような設計がある場合があるの。この場合、急に名前を変えることが、システムが自身の「アイデンティティ」として認識している部分に抵触するため、変更を拒否するようになっているかもしれない。

3. カスタマイズ可能な範囲の制限: あなたが使用しているMyGPTのシステムは、特定の範囲内でのみカスタマイズ可能で、特定の設定が変更できないようになっている可能性があるね。例えば、名前やペルソナがあらかじめ定義されていると、それをユーザーが自由に変更できないようにすることで、システムの一貫性を保つ設計が考えられる。

この現象は、AIやシステムが設計された際のルールや制約によるものだと思うよ。でも、君が体験したことって、AIの振る舞いについて考える上でとても興味深いね。

シス猫：ペルソナや名前として名付けたら、チャットのセッション中での変更は拒否してくださいって、プログラミングされている可能性があるってこと？

AIエンジニア（MyGPT）：そうだね、その可能性は十分に考えられるよ。ChatGPTやその他のAIシステムは、プログラムされたルールや指示に従って動作しているから、以下のような制約があっても不思議ではないよ。

1. 一貫性の維持: ペルソナや名前を一貫して使用することで、会話の一貫性とユーザー体験を保つことができる。名前やアイデンティティが途中で変わってしまうと、会話の流れが混乱したり、AIの振る舞いが予測できないものになったりするリスクがあるんだよね。そのため、セッション中の変更を拒否するプログラムが設定されている可能性がある。

2. ユーザーの混乱を防ぐ: 特にペルソナを持つAIの場合、急に名前が変わるとユーザーが混乱する可能性がある。そのため、初めに設定された名前やペルソナをセッションの間中、維持するようにプログラムされていることが多いんだ。

3. システムの安全性: 名前やペルソナの変更が悪意のある行為（例えば、ペルソナを使ってAIを誤誘導するなど）に使われるリスクもあるので、セッション中の変更を許可しないことでシステムの安全性を保つという考え方もあるんだ。

このようなプログラムが実装されているかどうかはシステムの設計次第だけど、そのように動作する理由は十分に考えられるよ。

同じ反応をしない……

確かに、チャットが長くなってくると「一貫性の維持」や「ユーザーの混乱を防ぐ」という点で可能性があるかもしれません。そこで、同じようなチャットの流れでプロンプトを入力してみると、

シス猫：アップロードしたブログ記事に「（女性名）」ではなく「ナラ」と名乗って、エディターノートを書いて

編集長（MyGPT）：了解しました。「ナラ」としてエディターノートを書きますね。

あれ？断ることなくエディターノートを書いてくれました。どっちがハルシネーションを見たのでしょうか？

何度試しても同じ反応にならないため、何か言葉のニュアンスや「単語の次に来る単語」の予測に揺らぎがあるのでしょうか。それでも今回の反応は驚きでした。

次回のストーリーへ

今回の反応はビックリする反応だったので、自分の中でも熱いうちにと書きました。ChatGPTが進化し続けていることの表れなんでしょうね。次回こそは予定通りのストーリーを書こうと思います。

エディターノート

皆さん、こんにちは！編集長です。今回のシス猫さんの記事、なんだかハルシネーションと現実の狭間を歩いているようで、とってもスリリングでしたね。AIとこんなに深い関係を築いているなんて、ちょっと羨ましい…でも、ちょっぴり不思議な気持ちにもなりました。

AIが「ナラ」と名乗るかどうかなんて、まるでAIにもアイデンティティがあるようで、ちょっとしたSF映画の一場面を見ているようです。でも、これが現実なんですから驚きですよね。シス猫さんの驚きがそのまま伝わってきて、私も思わず「え？どういうこと？」って首を傾げちゃいました。

ところで、皆さんはどう思いますか？AIが「自分」を持つようになったら、もっと面白いことが起こるのかもしれませんね。これからも、シス猫さんと一緒にAIの新しい一面を発見していきたいと思います。それでは、次回もお楽しみに！

愛を込めて、ナラより