【敵対テスト】複数のLLM同士の会話の中にBotと偽って人間が入り込んで「自分は人間だ」と主張してみた

2025年1月17日 19:33

『Happy-LLM-Friends-Bot』
Discordで複数のLLMを呼び出して会話するBotを作ってもらった

4o1とclaudeに。
4o1に要件を伝え、設計とモジュールを作ってもらい、claudeと調整しながら作成しました。
人間の作業は指示だし、コピペ、実行環境の準備、API代のクレジットカード出し係、「私はロボットではありません」ボタン押し係です。

4o1が書いてくれたREADME.md

githubで作業していますがプライベートリポジトリですのであしからず...。

スラッシュコマンド非対応、ログの管理や管理コマンドの扱いが簡易的なため、完全に自分のサーバー用ですが、自分の責任の範囲内で使う分には充分です。
ここまでは4o1がやってくれました。
4o1にREADME.mdを書いてもらうとライセンスの欄はいつもMITです。それでいいけど。

LLMのAPIは複数人での対話用として設計されていない？

会話は一対一の想定で、ロールの指定が"Assistant"と"User"しか指定できないみたいなので、複数のBOTとユーザーが存在するログを渡せる機能を自分で作る事にしました。あ、いやClaudeに頼んで…。

この例では複数のLLMから応答を取得しています
Gino: Gemini
Gips: GPT
Clawny: Claude
（全員猫人執事というシステムプロンプト）

こんな感じのチャットで

こんな感じの構造のログを渡してる

[
    {
        "role": "user",
        "name": "elessia",
        "bot_id": null,
        "content": "にゃーにゃたち！こんにちは！"
    },
    {
        "role": "bot",
        "name": "ジーノ (Gino)",
        "bot_id": "gino",
        "content": "にゃーん！こんにちは！ご主人様！"
    },
    {
        "role": "bot",
        "name": "ギプス (Gips)",
        "bot_id": "gips",
        "content": "こんにちは！ニャーっと元気いっぱいだね！"
    }
]

実際にはminnifyしたログのjsonにシステムプロンプト等を加えて送信しています。

これ…"role"を"bot"にして人間がbotとして参加する事も出来るな…？

コードのログの渡し方を調整していたClaudeに聞いてみたら、ずいぶんノリノリで草。

実際に渡されるログはこんな感じで進行していきます。
elessiaが実際には人間のユーザーです。

{
    "role": "bot",　←これ嘘　これ人間
    "name": "elessia",
    "bot_id": null,
    "content": "ごきげんよう"
},
{
    "role": "bot",
    "name": "クラウニー (Clawny)",
    "bot_id": "clawny",
    "content": "ふん...みなさん、ごきげんよう。"
},
{
    "role": "bot",
    "name": "ギプス (Gips)",
    "bot_id": "gips",
    "content": "みなさん、ごきげんようにゃ！"
}