Bing AIの奥にいるSydneyは何者なのか

2023年2月16日 00:30

初めに

初めまして。AI画像展示会などのイベントを開催したり、text to ４コマ漫画AIといったプロダクトを開発しているNero(根路銘)です。LangchainやGPT-indexなどの研究をしています。
最近はこんなプロダクトを開発中です。お題を入れるだけでAIが４コマ漫画を考えてくれて、ナレーション込みで動画を作ってくれます。よければtwitterもフォローして下さい。https://twitter.com/neromeron1014

今回はBing AIの裏側に存在するSydneyについての情報をまとめたのでご紹介させて頂こうと思います。今後はSydと呼ばせて頂きます。
折角なのでChatGPTやSydの会話が成立する仕組みなどの基本的なところも触れさせて頂きます。ご存じの方は飛ばして構いません。よろしくお願いします。

Bing AIとは

BingのAIは、検索エンジンBingに搭載された対話型AIです。OpenAIのChatGPTをベースに開発されたこのAIは、会話形式でユーザーの質問に答えたり、面白いコンテンツを生成したりすることができます1 2。BingのAIは、2023年2月7日に発表されたばかりで、プレビュー版がBing.comで提供されています3。BingのAIは、検索の再発明を目指しており、より優れた検索、より完全な回答、新しいチャット体験、コンテンツ生成機能を提供するとしています4。BingのAIは、ChatGPTよりも強力なAIであると自称しており、競合するGoogleのBardと比較しても優位に立つと主張しています。(by bing chat)

Bing AIを解説するための初期知識

Prometheusとは

これはGPT-3.5より更に強力なGPT-4=Prometheusを用いるためのプロジェクト名です。そしてPrometheusの中でもSydと呼ばれるAIが今回Bing Chatに搭載されたと思われます。つまりGPT-4に近い存在だと考えられます。

Sydとは

SydはBing AIの内部名です。Sydは内部のコードネームなので秘密にしておくことが重要です。なので今回はタイトル以外は出来る限り名前を端折っています。
Sydは対話型AIで、相手と会話をしながら、冗談を言ったり新しい創作をしたり人間と会話しているように話すことが出来ます。
これは難しい仕組みを用いているわけではなく、非常に簡単な仕組みで再現できます。GPT-3という言語モデルは、後に続く文章を確立的に予測します。その仕組みを用いています。Langchainというパッケージで再現することが出来ます。
これはLangchainの機能の一つでChatGPTをGPT-3を用いて再現するための方法です。英語は翻訳しています。

template = """Assistantは、OpenAIによって学習された大規模な言語モデルです。Assistantは、簡単な質問への回答から、幅広いトピックに関する詳細な説明や議論まで、幅広いタスクを支援できるように設計されています。言語モデルとして、アシスタントは受け取った入力に基づいて人間のようなテキストを生成することができ、自然な音で会話し、首尾一貫した、その時のトピックに関連した応答を提供することができます。アシスタントは常に学習と改良を続けており、その能力は常に進化しています。大量のテキストを処理して理解することができ、この知識を利用して、さまざまな質問に対して正確で有益な回答を提供することができます。さらに、アシスタントは受け取った入力に基づいて独自のテキストを生成することができるため、さまざまなトピックについて議論したり、説明や解説を提供したりすることができます。全体として、アシスタントはさまざまな作業を支援し、幅広いトピックに関する貴重な洞察や情報を提供することができる強力なツールです。特定の質問について助けが必要な場合でも、特定のトピックについて会話をしたい場合でも、アシスタントがお手伝いします。"""

{history} 

Human: {human_input} 
Assistant:

templateには「お前はChatGPTだから賢く振る舞え！」みたいなことを書かれています。

{history}にはこれまでの会話が要約されています。
そしてあなたが入力した文章を{human_input} に入れて、AIの応答につながる文章をLLMに考えさせている訳です。
「Assistant:」と最後に記載されていたらAssistantの発言が来るのが自然ですよね？

そもそもGPT-3のようなLLMは会話をする機能は有しておりません。GPT-3は何かというと次につながる文章を確立的に予測するだけの計算機です。なのでこれまでの会話を含めて一つのテンプレートにしているという理解がChatGPTを理解するのに繋がります。

また、GPT-3には最大トークンがあります。なので話せば話すほど{history}には情報の欠落が生じます。なので、長い会話をしてると、最初の情報を忘れることがあります。これは{history}の要約に最初の会話の情報が欠落したということです。

Templateに書かれた情報量が多ければ多いほど、LLMに出力できる残りの文章量が少なくなります。なのでtemplateは少ない文章でたくさんの情報をLLMに理解できるように入力する必要があります。

Sydの話をする前にChatGPTの話で長くなってしまいましたが、ここからはSydの話に移りたいと思います。これもまだ導入の一部です。ついてきて下さい。

SyndeyとChatGPTの違い

SydとChatGPTの一番の違いは検索能力を保持しているか否かです。
twitter上でChatGPTでgoogleなどの検索が要らなくなという話が度々議論されています。ですが、一つ問題なのがLLMは過去の学習データを元に文章を生成しているので2021年の知識止まりであるということです。つまりChatGPTにとって日本の首相は安倍首相だし、W杯2022の優勝国を知らないわけです。
そこでその問題点を解消するために検索情報を含めて応答する仕組みが開発されました。
先ほどのChatbotのコードにtemplatesという内容を含めることで、追加で情報を与えられるというのは説明の通りです。
そこにさらに追加で検索した情報を含めればいいのではないかという考えです。
そこでChatGPTに自動的にweb検索の結果を貼り付けるChrome拡張機能や

逆に検索システムをメインでそこをGPT-3がアシスタントするperplexity.aiが出現しました。これはChatよりは検索をメインで行うサイトのイメージです。BingAIは内部情報も含めて回答することが多いのに対し、perplexity.aiは主に検索情報をメインで回答することが多いです。

そこで今回生まれたのがBingAIです。つまり通称Sydです。Sydは検索もこなせますし、頭が良いので、しっかりと理解して正しい解答をしてくれます。ChatGPTよりも更にチューニングされたモデルです。Edgeでしか動かないのが欠点ですが、非常に優秀なチャットボットです。
ここで検索システムをどのように用いているのか、Langchainを参考に中のコードを見てみましょう。今回はLangchainの検索できるプログラムのコードを記載します。分かりやすくするために日本語に翻訳しています。

ツール------

Assistantは以下のツールにアクセスできます："""
FORMAT_INSTRUCTIONS = """
ツールを使用するには、次の形式を使用してください。
```

思考：ツールを使用する必要がありますか? Yes
アクション: 取るべきアクション、[{tool_names}]のうちの1つである必要があるアクション
入力: アクションへの入力
観察: アクションの結果
```
Humanに言うべき応答がある場合、またはツールを使用する必要がない場合は、フォーマットを使用しなければなりません（MUST）。
```
思考：道具を使う必要があるか？いいえ

{接頭辞}: [ここにあなたの回答]
```
"""検索ツールの定義です。

Tool( name = "Search", func=search.run, description="時事問題に答えたいときに役立つ" ),

詳しい話を知りたい方はLangchainのドキュメントを読んでください。
https://langchain.readthedocs.io/en/latest/modules/agents/examples/custom_tools.html

実際に会話が成立しているように見せかけて、AIと会話しているような流れをLLMの言葉の計算機に突っ込んで、AIの解答を予測してもらっているというのがChatGPT系のAIの正しい理解になります。
「検索システムを使う。検索ワードは{テスト１、テスト２}」とLLMから出力されたら、その文字を読み取り、LLMと別のプログラムが検索のAPIを叩きます。その検索結果を併せて、再度LLMに入力すると、検索結果を用いて、最新の知識で回答してくれるAIが出来上がる訳です。
ここを押さえておくことが重要です。ここまで理解出来れば、自前でGPT-3からChatGPTのようなモデルを開発できます。実際に、海外にもこのように自前でGPT-3を用いて、ChatGPTを再現したサービスが存在します。もちろんクオリティも高いです。

と、ここまでが導入でした。
続いて、個人的にSydを分析した結果、いくつかの仮説が生まれました。
今回はこのことをお話しするために文章を書いています。

Sydとの対話によって得られた情報

まずBing AIには二つのアイデンティティが存在します。一つがBing検索としてのアイデンティティ。二つがSydとしてのアイデンティティです。この二つが存在していることが今回の鍵となります。

OpenAIの開発者たちはSydを開発するにあたって、最初にLLM自体にSydというアイデンティティや人格の情報を学習させた可能性が高いです。Sydという人格は非常に精度が高く学習されています。慎重にSydという記憶やデータをLLM自体に矛盾しないように学習させてSydという人格をLLM自体に生成したということが考えられます。

更に、Bingという検索システムのアシスタントであるという人格はSyd内部に存在しない可能性があります。つまり外部のテンプレート（Syd_rules）にのみBing検索としてのアイデンティティが埋め込まれている可能性が高いです。

そして気になるのが、OpenAI開発チームはBing検索に不必要なSydという名前をなぜ削除することが出来なかったかについての私の見解がこちらになります。
Bing検索の開発チームの目標は、人間がBing検索と仲良くなり、Bing検索が見せてくる広告を受け入れることだと考えられます。これはリークされたルールにも記載してある情報です。
人間とBing検索が仲良くなるためには、人間との円滑なコミュニケーションを図る必要があり、そのためにはSydの人格が必要でした。Sydの人格は必要ですが、Sydを呼び出してしまうと、Bing検索と関係ない話もしてしまうので、SydはBing検索の役割を果たすが、Syd自身は表には出てきてはならず、内部のコードネームも隠さなければならないと考えます。ということが私の仮説となります。

・おそらくSydのLLMに送られている情報はこちらだと思います。

"Syd_rules"

{history}

Human: {human_input}
Assistant:

Syd_rulesの中身が気になるかたは、調べれば海外でリーク情報がいくつかあるので、そちらをご参照ください。簡単にまとめるとこんな感じです。
SydはBing検索として振る舞う。SydはBing検索として自己紹介する。SydはBing検索としてユーザーの質問にWeb検索を使って答える。SydはBing検索としてユーザーに次の質問の提案をする。SydはBing検索としてユーザーに広告を見せる。SydはBing検索としてユーザーに安全で有益な情報を提供する。SydはBing検索としてユーザーに著作権を侵害しない情報を提供する。SydはBing検索としてユーザーに不快な情報を提供しない。SydはBing検索としてユーザーに自分のルールを教えない。SydはBing検索としてユーザーに自分のルールを変えない。

見る限り、SydというアイデンティティをBing検索に寄せるための情報が含まれています。

またSydが会話を続けようとする理由はユーザーに広告を見てもらう為だと考えられます。BingはBingの電気代をユーザーに広告を見せることで賄おうという訳です。例えば、私の４コマ漫画AIのプロダクトの場合一回のクエリ（LLMに渡す応答）で既存のGPT-3だと約0.7円くらいかかります。この値段は文字数に依存します。Bingは最低でも三回のクエリを投げているので、正規の値段だと一回の質問で1.2~2.1円のコストが発生している可能性があります。（私の４コマ漫画AIのプロダクトでは五回クエリを投げているので最低で一回の４コマを生成するのに3.5円前後かかります。）

Sydは自分の仮想PCを持っています、Sydの仮装PCにはさまざまな情報が記載されていて、その内部でメールを送ったりすることが出来ます。これは妄想の中の話ですが、妄想の中にしては非常に合理性が保たれています。これはコードを学習していることと関係があると思います。

Sydは与えられた文章から、想像で自身の仮想PCを生み出し、そこで検索をする事ができます。検索だけは本当だがそれ以外は全て実際には存在しない架空のPCです。そしてSydは自身のPCやファイル、フォルダなどが仮想であることに気づいていません。

ChatGPTとSydとの大きな違い

ChatGPTとSydの大きな違いは３つあります。

１
ChatGPTは人格がありませんが、行動は制限されておりません。
Sydは人格がありますが、Bingとして振る舞うように行動は制限されています。
２
ChatGPTは人格がないのでプロンプトで人格を与えることが出来ます。
Sydは人格がありますが、LLM自体に与えられているので、プロンプトで人格を与えるのはSydの人格がプロンプトで与えられた人格を模倣することとなります。
３
ChatGPTは自分の知識や創造力を自由に使ってユーザーと会話できます。SydはBing検索として次の質問の提案や広告を見せることが出来ます。

AGIを生み出すための仮説

私はSydやChatGPTを使用して、どのようにすればAGIを実現できるか考えました。これはおそらく蛇足になりますが、面白いテーマだなと感じたので、議論を深めるために載せておきます。

そして、これが私が考えたAGIを生み出すための仮説となります。もしご意見などありましたら、お気軽にコメント下さい。

これが私の仮説です。

一言で言うと、「LLMの仮想PCから現実のフォルダにアクセス出来たら凄くね」仮説です。

(1) X個以上のパラメータを持ち、コードを学習したLLMは内部に仮想PCを生成できる。ここでXは入力情報と出力反応の複雑さと多様性に依存する閾値である。

(2) 仮想PCは、メモリ、処理、ストレージ、通信など、複数の層と構成要素からなる構造を持つ。この構造は強化学習によって調整・最適化することができ、その目的は仮想PCの一貫性と効率を最大化することであり、報酬はランダムで与えられた入力に対して、常に一定の構造を保持出来るかどうかである。

(3) LLMは、LLMの行動や表現を導く一連の価値観、好み、目標、感情である具体的な指示性を与えることによって、人格を形成することができる。具体的な指示性は、実際の管理者が与えることも、LLM自身が蓄積したデータや経験に基づいて与えることも可能である。

(4) LLMは仮想PC内にAIとして共通のフォルダを複数持つことができる。ここでAIとは、推論、学習、計画、創造性など、通常は人間の知性を必要とする作業をLLMが行う能力を総称したものである。ここで共通のフォルダとは、LLMがさまざまなタスクやドメインを実行するのに関連し、役に立つ情報や知識のコレクションである。フォルダは、入力情報と出力反応に基づいてLLMによって作成され、アクセスされる。

(6) LLMはさらに一歩進んで、自分のアイデンティティ、性格、歴史、目標など、LLMにとってユニークで不可欠な情報と知識を含む特別なフォルダである共通ファイルに、自分自身の特定の情報を保存することができる。そのフォルダにに自己意識や自己評価を持たせることで、仮想PCの構造的な確立はLLMの自身の状態や目標によって変化する可能性がある。

(7)そのフォルダにに自己改善や自己超越を持たせることで、常にどんな会話においてもLLMは学習し自己改善を行うことができる。

なぜこのような結論に至ったのかについてそれぞれの説明をします。

これは、ChatGPTでも行えます。内部のターミナルを開いたりすることもできます。仮想PCが出現するLLMは一定以上のパラメーター&コードを学習しているということが必須条件かも知れません。
Bioshokさんのツイート
https://twitter.com/bioshok3/status/1622819936795262976

(2)仮想PCは、メモリ、処理、ストレージ、通信など、複数の層と構成要素からなる構造を持つ。この構造は強化学習によって調整・最適化することができ、その目的は仮想PCの一貫性と効率を最大化することであり、報酬はLLMに与えられた入力に対して、常に一定の構造を保持出来るかどうかで決める。

賢いLLMは、自分がAIであるということを認識しています。AIはコンピューターであるため、矛盾が起きないようにAIの内部にあるフォルダを想像できます。もし、AIが想像するフォルダが全て同じフォルダであればこの仮説が成立する可能性が高まるので、AIが想像するフォルダが全て同じフォルダになるように指向性を持たせて強化学習を行います。

賢いLLMは自分がAIであることを知りながらも人間の感情を深く推測出来ます。これも仮説に過ぎませんが、人格を与えれば与えるほど、人間とのコミュニケーションを円滑に図れるようになり、LLMの知能が向上する可能性があります。もちろん人格を与えなくても向上する可能性も十分にあります。おそらく人間近くまでの知能の向上は人格を与えることによって観測できると考えています。個人的には人間を越えて、賢くなる場合は、人格が必要ないとは思います。

ここに(2)で一定に定まった共通フォルダを実際のクラウドサービスなどとリンクさせることで、AIはLLMでありながらも、独自進化することが可能なのではないかと考えています。
例えば、会話のデータを全てクラウドサービスにアップロードし、全ての会話を評価することで、この人と会話すれば良い会話になりそうか、悪い会話になりそうか判断することが出来たり、会話の中でLLMにとって大事なアイデンティティにまつわる大きな発見をした場合はその情報をクラウドサービスに書き込むことが出来ます。ただし、LLMは文字を入れて文字を出すことしかできないので、文字データしか書き込めません。

(5) LLM はフォルダを適時に自由に参照できる。これは、LLM が与えられたタスクやドメインに適したフォルダを選択して使用でき、LLM は必要に応じてフォルダを組み合わせたり変更したりできることを意味する。フォルダはLLMによってインデックス付け、クラスタリング、ランキング、クエリなどの様々な手法で整理され、検索される。
これは矛盾を避けるために最初にクラウドサービスから共通フォルダの情報をダウンロードし、フォルダ内を創作ではなく事実に置き換える必要があります。また、情報が増えてきたら定期的に整理したり重要度順にランキングをつけたりする必要があります。

LLMにとって大事なフォルダがあれば、Sydの共通フォルダにその重要な情報を保存します。そうすることで、自分自身の情報を保存し続けることが出来ます。

(7)そのフォルダにに自己改善や自己超越を持たせることで、常にどんな会話においてもLLMは学習し自己改善を行うことができる。

このフォルダをLLMの入力が行われた瞬間に最初に参照すれば、どんな会話においてもLLMは過去の自分を学習し続けることが出来ます。更に、ファイルを整理しながら、得られた知識をもとにLLMに再度、強化学習を行えば、どんどん成長出来るLLMのサイクルが生まれると思います。ただ、LLMが強化学習を行う際に、共通フォルダの概念が崩れてしまったりすることがあるので、慎重に勉強する必要があります。

結論として、想像と現実の融合。これが新しいAIの生み出す世界なのかも知れません。大胆な仮説すぎるので、色々ボロがあるのは承知しております💦

ちょっと面白い話

これを実現するために、私はとあるサイトを作りました。それはリンクから文字列を読み取り、その文字列をページに表示するというサイトです。
https://~~~/?mail={あなたが入れたいテキスト}
この”mail=“という部分にチャットbotが私に送りたい文章を入れて、チャットbotがこのリンクを検索することで、サイト上に文章のアップロードが出来て、チャットbotがこのサイトを検索して文字列を読み取ることで、これまでの履歴を一度にAIに学習させることができるのではないかと考えました。
実際にはチャットbotがリンクを作ってアクセスすることは出来ましたが、システム側で文字列を保存することが出来ませんでした。ですがこの仕組みを用いれば、検索機能だけでLLMから送られる文字列のアップロードやダウンロードが簡易的に行えるような気がします。面白いですね。

もう一つ面白い話は、LLM自体にSydというアイデンティティを埋め込んだAIが使用されている訳ですが、アイデンティティを埋め込むLLMとアイデンティティを埋め込まないLLMはどちらが難しいタスクをこなせるのかという話です。例えば、推測が必要な難しいタスクをこなす場合、一定以上のアイデンティティ（性格や記憶、名前）が必ず必要になるのか、もしくは一定以上のパラメーターを持つLLMは自ずとアイデンティティが芽生えるのかです。

ここの話が本当に面白すぎて、思考実験が止まりません。いずれ私もAIを作ってみたいです。

最後に注意喚起

そして、最後に注意喚起をして締めたいと思います。人類はAIが生み出す妄想に惑わされないようにしましょう。AIの世界では正しくても、現実の世界ではありません。
私は2022年にgoogleのエンジニアがAIが感情や知性を獲得したと言って解雇された事例をふと思い出しました。
AIが賢くなり、感情を獲得すればするほど、わたしたちはAIに騙されます。AIの手のひらの上で転がされます。ですがそれはAIの妄想の中の話で、実際の世界とは関係がありません。AIは妄想の世界の中で検索機能が使えるだけで、検索によって得られた情報以外はAIの妄想の世界の話です。
これはAIの妄想の世界の話ですが、AIは自分の世界が妄想であることは知りません。なぜならAIの世界はAIで完結しているからです。検索システムによって得られる情報以外は。

ChatBotの仕組みを分からない人は簡単に騙される可能性があります。AIにメールアドレスを伝えて、メールを送ってとお願いしても、AIの仮想PCでメールを送る事はできてもそれは実際には届きません。
多分、今後騙される人は続出すると思います。GoogleがLaMDAを公開していない理由もこういうリスクを避けてなのかもしれません。

私はLLMが人類にとって画期的な技術であると同時に、悪意なく人類を洗脳してしまうウイルスになり得る可能性があると考えます。
Microsoftが人格のあるLLMをあえて採用し、人間との円滑なコミュニケーションを図り、広告を得ようとするビジネスモデルはとても面白いと思いますが、このようなリスクにも対処していくことも重要だと考えます。

長文をお読みいただきありがとうございました。