ダボス2025: カール・フリストン教授とのファイアサイドチャット

6,489 文字

センターAIサミット ダボス25年版へようこそ。本日はADVバーサスのチーフサイエンティスト、カール・フリストン教授をお迎えできることを大変光栄に思います。ダボスへようこそ。
お会いできて嬉しいです。こちらこそです。昨年、ダボスは一生に一度の経験になるとお伝えしましたが、また来られましたね。
ええ、二度目の人生経験になりましたが、懐かしい気持ちで戻ってきました。
では早速本題に入りましょう。昨年のダボスでの最後の会話では、大規模言語モデル(LLM)とその課題について議論しましたが、今年のバズワードはAIエージェントです。LLMは優れたAIエージェントを実現する方法ではないと考えられますが、あなたとバーサスチームは科学部門のリーダーシップのもと、この1年間、世界にはより効率的な代替ソリューションがあることを示そうと取り組んできましたよね。
はい。誰かが私がアタリゲームをいじっていることに驚いていたと聞きました。
ゲーマーになられたとは思いませんでしたが、まさにそのエージェントというテーマがあったからこそ、今私はゲーマーになったんです。アタリは、ゲームだけでなくコンピュータサイエンスにおける伝統的なベンチマークを代表しているんです。
でもアタリゲームの話に入る前に、R&Dと科学研究の方向性について最新情報を教えていただけますか。
この1年間は、知的エージェントを作る2つの基本的な方法に焦点を当ててきました。エージェンシーを中心的な目標として、それらをスマートで安価で効率的に、そして持続可能にすることです。2つのアプローチがあり、1つ目は原理に基づいた生成モデル、つまり事前の信念を全て組み込んだ世界モデルから始めるというものです。エージェントに信念を組み込むということですね。
ええ、ええ。彼の表情を見てください！信念をどのように組み込むのか？まず意味論的な信念を取り、それを数学的にベイズ信念として形式化します。つまり条件付き確率分布として不確実性の属性を持たせるのです。信念を持つエージェントについて話す時、不確実性の下で決定を下せるエージェントについて話す時、信念構造や確率分布の符号化、表現、通信について話しているのです。
ここで聞いているのは、処理する情報の確実性と、提供する回答やサービスの種類に対処するAIエージェントのことですが、私の理解が正しければ、不確実な環境下で決定を下すことができるAI駆動型エージェントについて話していますよね？
はい。それを実現する方法は基本的な仕組みです。科学者に質問すると方程式が返ってきますよね。
ベイズ最適性によって実現します。ベイズ最適性には2種類あります。1つは、ベイズ決定理論で見られる種類のもので、金融の決定や、誰とデートするか、何を食べるか、どのレストランに行くかといった決定に使われる類のものです。
あなたが金融家なら大金持ちになりたいでしょうし、特定の食べ物に対する予測があれば、その種類を選ぶでしょう。そうでなければ驚くことになります。報酬や費用、制約違反の平均を取る目的関数を記述するのです。
でも、あなたは謙虚すぎます。カールは最も引用されている神経科学者であり、報酬が意思決定システムでどのように働き、不確実性とどう相互作用するかを理解し、それをモデル化して製品に組み込むことができたということを思い出す必要がありますね。
その通りです。また、今年のダボスでのAIに関するあらゆる会話で出てくるのが、LLMや大規模モデルの環境への影響です。大量の計算を必要とし、多くのエネルギーを消費し、環境に大きな悪影響を与えています。理解している限り、あなた方は性能を向上させ最適なエージェントを持つことで、より少ない処理で実現できるブレイクスルーを達成したということですね。
その通りです。これは知能、おそらく人工知能や機械学習に対するこのようなアプローチを社会化するという野心の要となるものです。この効率性は、このようなベイズ最適性と表裏一体なのです。
科学者として説明させていただくと、私たちは最小作用の原理を適用しているだけです。作用はエネルギーと時間の積です。最適な方法、つまりベイズ的に正しい決定を下すだけでなく、現在の信念に基づいて不確実性を解消するための正しいデータを得るという認識論的な側面もあります。
正しく行えば、最小作用の道筋、最小努力の道筋を追求することになり、それが熱力学的にも最も効率的な方法なのです。これ以上効率的にはできません。したがって、持続可能性の観点から見ると、情報的に最適であること、この形式的な意味で最適に知的であることは、エネルギー消費や実際のドル支出の点で最も持続可能な方法で行うことを意味します。
これは科学的な説明ですが、私たちは世界経済フォーラムにいて、熱力学に詳しくない人も多いです。あなたの研究結果によれば、他の誰も達成できていないことを最小限のエネルギーコストで達成できるというこのコンセプトを、とても若い子供に説明するとしたら、どのような言葉で説明しますか？
ええ、おそらく私からは説明せず、あなたに説明してもらった方がいいですね。あなたの方が私よりずっと上手です。
簡単に言えば、考えを変える、技術的には機械や頭の中に符号化された情報を変えるには、一定量のエネルギーとお金がかかるということです。原理的に最も効率的な方法があり、それを私たちはソフトウェアに書き込もうとしているのです。それ以上に、この考えを正しい方向性として社会に広めたいと考えています。これは定義上、非効率的に多くのお金と電気を消費しないという意味で持続可能なものです。
完璧です。これは、組み込まれるソフトウェアのパフォーマンスの面でも正しいことであり、環境に対しても正しいことであり、コストを最小化し、影響を最小限に抑え、パフォーマンスを最適化するという財務レベルでも正しいことです。
これを達成するために、コンピュータサイエンティストがよく知っているとても古いゲームや課題のセット、メディアではアタリテストやアタリゲームと呼ばれているものに取り組みました。このテストが何から成り立っていて、以前の成果をどのように上回ったのか、以前このテストで何が行われたのか、もう一度簡単に説明していただけますか？
これらのテストは、十分な年齢の人なら育った時に遊んだような小さなコンピュータゲームです。私は十分な年齢です。
お気に入りのアタリゲームは何でしたか？
ポンではありません。スペースインベーダーです。
重要なのは、これがあなたがコントロールできるとてもシンプルな世界だということです。適切にプレイするには、非常によく定義された単純な小さな世界でエージェントになる必要があります。これはエージェンシーを探求できる最小限の空間、サンドボックスなのです。
問題は、この非常にシンプルな世界で、エージェントとしてプレイすることを学ぶ最も効率的な方法は何か、ということです。私たちがそこに焦点を当てた理由は、多くのベンチマークがあるからです。熟練したパフォーマンスや専門的なパフォーマンスに到達するために支払わなければならないドルの量に関する効率性の主要なベンチマークの1つは、必要な露出回数、繰り返しの回数です。
正確にその通りです。サンプル効率は、ここで本当に有用な指標です。私たちが目指していたのは、少なくとも1桁、つまり10倍、場合によっては100倍も効率的に、この非常にシンプルでよく記録された世界でエージェントになることを学ぶことでした。
このベンチマークには何種類のゲームが含まれているのですか？
通常必要な要件は、チャレンジの名前である100Kチャレンジから推測できます。つまり、強化学習や大規模言語モデルを投入した場合、通常100,000回の露出が必要になります。何らかの基本的なエージェンシーが現れる前に、100,000回の露出を処理しなければならないのです。
私たちは、同じことを10K、つまり1桁少ない回数で実現することを目指し、それに成功しました。最終的に平均の10分の1です。
これに取り組む方法は2つあります。1つ目は、最小作用の原理、この最小努力の原理、最大効率を適用できるビスポークな世界モデルを構築することです。この場合の最小努力とは、タスクを達成するために必要な試行回数が最も少ないということですね。
その通りです。これは最近、バーサスのプレスリリースで紹介されたもので、可能な限りシンプルで効率的な適切な種類の生成モデルを適用し、ソフトウェアに符号化された正確な種類の信念更新、ベイズ信念更新を使用することで、10倍効率的にできることを示すという野心を達成できます。
ベンチマーク結果はあなたの期待通りだったのですか？
はい。自信に満ちた表情を見てください！私は謎めいた態度を取ろうとしましたが。
このように新しい種類のエージェントを訓練し開発してきましたが、12ヶ月前に話したことからの改善に基づいて、バーサスはパートナーやクライアントにどのような具体的なアプリケーションを提供する予定ですか？
科学者として、そして確かに臨床医として答えると、あなたの初期の指摘の1つに戻りますが、人々が現在取り組んでいる問題にどのように取り組もうとしているかということです。これが正しい方法であれば、そして正しいとは最小努力と最小作用の道筋という意味ですが、誰もがそうすべきです。
これらの原理を自分の問題空間に適用できるようにすべきです。それはどのように実現するのが最善でしょうか？まず第一に、人々にインフラストラクチャー、適切な種類のソフトウェア、スキル向上の面での適切なアクセシビリティを提供することだと思います。
この効率性の一部は、これらのモデルを構築して適用するのが本当に簡単だということです。モデルの消費が少なく、これはAIエージェントの素晴らしい点の1つですが、最終的にはローカルで実行できます。
クラウドコンピューティングプロバイダーのGPUを使用するためにクラウドに情報を送る必要がなくなり、ポケットの中で、電話で動作させることができます。これは誰もが求めているものです。エネルギー消費が少なく、最小限の努力で済み、したがって財務的な利点とパフォーマンスの向上があるからです。
今知りたいのは、この発見を競合他社と比較してどのように位置づけているかです。誰もがエージェントだけでなく、自律型エージェントについて話しています。これは、これらのエージェントが不確実性の下で正しい決定を下すための自律性の形態を持つということを意味します。競合がもしあるとして、どのようにベンチマークで比較しますか？
その通りです。アタリについては、結果、パフォーマンス、アタリタスクを達成するために必要な試行回数が10分の1というのは、とても良い指摘をされましたね。
ベンチマークの哲学について非常に良い点を指摘されました。特定の種類の知能を目指している場合、私たちは持続可能で、知的行動の第一原理に基づく自然な知能を目指しています。
知的行動、感覚行動、アクティブインファレンス、私たちが目指している同じ種類のエージェンシーについて、深層強化学習やトランスフォーマーアーキテクチャや大規模言語モデルをテストするために設計されたものとは全く異なるベンチマークセットを考えることになります。
冗談めかして言いましたが、アタリは哀れなベンチマークです。人々が導き出したものですが、この最適性、この効率性の2つ目の側面を持っていないからです。ベイズ決定理論の設定でベイズ最適であるだけでは十分ではありません。最適なベイズ設計の原理をエージェントに吹き込む必要もあります。
認識論的な種類の自律性を持つために、モデルにエージェンシーを与える必要があります。スマートなデータ収集のためです。これは効率性の観点から重要な点です。なぜなら、これらの真に知的なエージェントの1つを設計した場合、それは信念を持っているため、その不確実性を解消するのに最適なデータの種類を知っているからです。
これは現在の大規模言語モデルに欠けているものです。大規模言語モデルは自分が何を知らないかを知りません。
それをどのように解決するのですか？
ええ、これは本物の意味でのエージェントではないと言って、ただ全てを与えるだけです。
神経科学を学んでおらず、バーサスでの仕事を通してあなたを知った人々にとって、あなたは「ディープラーニングはがらくた」という一言で有名です。この言葉についてどうお考えですか？
ええ、あなたがそれを引き出したんです。群衆が望むものだと言って、私は礼儀正しく応えただけです。あなたはとても礼儀正しいですから。
でも、より真剣な話をすると、このサミットで私はあなたや、マイクロソフトリサーチを率いるピーター・リー、メタのリサーチを率いるヤン・ルクンと交流する機会に恵まれました。彼らは皆、基礎研究に取り組む科学者を確保することがますます困難になっていると言及しています。
新しい科学者たちは成功した製品に取り組みたがる傾向が強く、あなたの多くの卒業生がGoogle、DeepMind、大手テック企業で働いています。バーサスの大手テック企業全体にカール・フリストンのレガシーがあります。あなたと一緒に働く科学者たちにもこの問題はありますか？
最初は製品がどうなるか分からない必要不可欠な基礎研究がありますが、それは常に製品にとって有益になるということですが、バーサスの研究面での戦略として、製品のために開発し、基礎研究は別の場所で行うというようなアプローチを取っているのでしょうか？
ええ、それは素晴らしい質問です。私の学生ではありませんが、エレーナ・マグワイアの学生であるデミス・ハサビスが、最近まさにこれを経験していると言っているのを聞きました。エレーナは残念ながら数週間前に亡くなりました。
デミスは生物学に触発されることから始めました。彼はエレーナとともに、シーン構築や、私たちがどのように世界を理解し、その世界をエージェントとしてどのように航行するかといったことを持ち込みました。しかし今彼が言うには、神経科学と基礎研究の視点を失い、全てがエンジニアリングになってしまったと。
これは危険だと思います。物事を行う正しい方法を社会化することについて話すことで、人々を基礎研究と科学技術に引き戻すことができると思います。単なるテクノロジーではなくて。
バーサスがそれを行う方法は、基本的に会社の中に小さな大学を置くことです。純粋な学術的なもの、発見の喜び、良いベイズ科学者であることを守るためです。正しい実験を行い、正しい質問をし、スマートで最も効率的な方法で答えを引き出すことです。これは良い科学者の定義に他なりません。
バーサスはそれを守ろうとしています。Google DeepMindも当初はまさに同じ哲学を持っていたと思います。多くの成功したグループもおそらくそうだったでしょう。
最後の質問は いつも同じです。私たちはAIやモデル、テクノロジーと科学について素晴らしい会話を交わしていますが、あなたが生きていく上で欠かせない、完全にアナログな、プラグを抜いた、コンピュータチップも方程式もないものや体験を、私たちの聴衆と共有していただけますか？カール、タバコは別として。
ああ、それは私がお勧めしないものの1つですが、ああ、瞬間瞬間を大切にすることですね。
ええ、その非常に個人的な注釈で締めくくることができますね。カール、いつもあなたとの会話から学ぶことができ、喜びです。あなたとバーサスの大きな進歩を祝福します。次の会話を楽しみにしています。もはや一生に一度の経験ではなくなったダボスを楽しんでください。
みなさん、カール・フリストン教授に感謝の拍手をお願いします。