エージェント型AIの進展 by Sakana AI, Llion Jones氏 【Fully Connected Tokyo 2024】
「Weights & Biases Japan」が主催するユーザーカンファレンス「Fully Connected Tokyo 2024」が10月10日、東京・三越劇場で開かれ、生成AI開発のスタートアップ企業「Sakana AI」のLlion Jones CTOが登壇しました。AIがAIを設計する未来など、非常に先進的な話題が満載のプレゼンテーションに、会場の参加者も深く聞き入っていました。
ジョーンズ氏は最初に、AIが人間の代わりにさまざまな仕事をこなす「エージェント機能」について改めて説明してくれました。複雑なタスクを自動化する能力については「AIの文脈でよく使用されるが、明確な定義が難しい概念です」そして、エージェントが単にプログラムされた指示を実行するものなのか、または「知能」を持ち、独自に意思決定を行うものなのか、現在進行形で議論が巻き起こっていることを指摘しました。
「今がAIの歴史の中でも特に興味深い時期」──。ジョーンズ氏はそう言います。ジョーンズ氏によると「これまで人間の知能を再現しようとするAIの研究が大きな成果を達成するたび『それは真の知能ではない』と言われてきた」と歴史を振り返ります。
しかし元々「計算する人間の代わりとして生まれてきた」コンピューターの役割は、深層学習の出現によって一変しました。ジョーンズ氏は、直感的で無意識的な情報処理を行う能力を「システム1」、合理的・論理的な推論を行う能力を「システム2」と称し、従来のAIがシステム2の模倣に注力してきたのに対し、生成AIに代表される深層学習がシステム1を担うことで潮流が大きく変わってきたといいます。
システム1とシステム2のバランスをとることが、エージェント機能にとって重要な課題だとジョーンズ氏は説きます。しかしシステム1が台頭した結果、システム2が軽視されるようになったとも。「ディープラーニングが登場した途端に、赤ちゃんを風呂の水と一緒に捨てるみたいに、（システム2を）『古き良き人工知能（Good Old-Fashioned Artificial Intelligence、GOFAI）』扱いにしてしまった」結果として新たな課題が浮上しました。「システム1を完成させることに皆が注力し、その結果が大規模言語モデル（LLM）に結実しましたが、そこにはAIがときおり『幻覚（ハルシネーション）』を見て、現実にはない事実を生成してしまうことがよく知られています。その『事実』を検証・推敲する別のシステムの存在が求められているのです」
システム1をシステム2の上に正しく配置する──。これは、私たちが予想していたよりはるかに難しい構造である、とジョーンズ氏は言います。
このような統合型システムは、プログラム（学習のためのプログラム）が書いたプログラム（モデル）を使うプログラム（エージェントシステム）ということになります。そしてプログラム（モデル）はそれ自体別のプログラムを生成することができ、この連鎖はさらに深くなっていきます。「このようなシステムの中で、どこに問題があって、どこを向上すれば良いのかを特定することは非常に難しく、これがエージェントの研究の難しさなのです」
Sakana AIが8月に発表したThe AI Scientistはまさにそのような難しさを包含した研究です。「科学的研究の全てのステップをAIで自動化することができるのか」という問いに対するチャレンジです。「このシステムに、リサーチの対象となる領域を入力し、実験の実施方法と、論文の書き方のテンプレートを渡すだけで、論文が生成されます」アイディアの生成、その吟味、既存研究の調査、実験の実施、結果の収集、そして結果の詳細を技術論文にまとめ上げるまでの全てのプロセスが自動化され、最後にその論文の評価を行います。
「私たちが気づいたことの一つとして、生成AIが論文を評価する能力はすでに人間に近いレベルにあるということです」結果として、生成されたほぼ全ての論文は生成AI自らによってボツにされてしまうのが現状です。つまり、まだこのシステムは完成には程遠いということですが、この全プロセスを自動化することができたということには大きな意義がある、とジョーンズ氏は強調します。
実際の結果は、「あまり優れていない、と同時に、驚くほど優れている」と言い、その中には、実験をするために十分な時間をとるために、エージェントが自身のコードを改竄し、実行時間を延長した、などの驚くべき行動も見られたと言います。「今後、AIカンファレンスだけでなく、すべてのカンファレンスがAIトラックを必要とするようになるはず。AIがこのトラックに論文を提出し、カンファレンスによって作成された他のAIがそれを審査し、フィードバックを提供することが来るだろう」
AIがAIを進化させる──。もはや人は必要ないのでしょうか。その疑問に「そう思わない。実際のところ、人間がプロセスの中に存在していることは非常に重要だ」とジョーンズ氏は答えます。そして、コンピューター科学者、ケネス・スタンリーと作家、ジョエル・リーマンの著書「なぜ偉大なものは計画できないのか：目的の神話」から「人間が関与することで、最適化アルゴリズムを単独で実行するだけでは見つけられない探索空間の領域を見つけることができる」との言葉を引用し、人の協力がAIの可能性をより広げていくという考え方を提示しました。
ジョーンズ氏は最後に「Sakana AIはWeights & Biasesを多用している」と教えてくれました。「Sakanaの研究者はW&Bをと高く評価しており、W&B Weaveが私たちの実験をこれまで以上に加速してくれることを期待しています」と締めくくりました。
素晴らしいご講演をしていただいたLlion Jones 氏に厚く御礼申し上げます。
Weights & Biases, Inc. (W&B社) は、米国サンフランシスコを拠点とし、エンタープライズグレードのML実験管理およびエンドツーエンドMLOpsワークフローを包含する開発・運用者向けプラットフォームを提供しています。WandBは、LLM開発や自動運転、創薬など幅広い深層学習ユースケースに対応し、NVIDIA、OpenAI、Toyotaなど、国内外で80万人以上の機械学習開発者に信頼されているAI開発の新たなベストプラクティスです。
W&Bに関する詳細は下記をご参照ください
W&Bでは毎月ミートアップとオンラインウェビナーを開催しています