アンドリュー・ンが解き明かすAIエージェントワークフローの全貌

アンドリュー・ン教授は、AIエージェントワークフローが今年、AIの分野で顕著な進歩を遂げると強く信じています。これは、次世代の基盤モデルをさらに進化させる重要なトレンドであり、AI業界の関係者全員に注目してもらいたいと呼びかけています。

以前、アンドリュー・ン教授のこのテーマの動画を紹介したことがあります。今回の内容は彼のXのツイートの元で作成、動画内容の補完と深堀になります。

AIエージェントワークフローによる反復動作

現在、大規模言語モデル（LLM）は主にゼロショットモードで利用され、修正なしに最終出力を一つずつ生成しています。しかし、アンドリュー・ン教授によれば、AIエージェントワークフローを採用することで、LLMがドキュメントを何度も反復して処理することが可能となり、はるかに優れた成果を得ることができます。

たとえば、以下のような一連のステップを踏むことができます：

• アウトラインを計画する

• 必要に応じて、より多くの情報を収集するためにウェブ検索を行うか決定する

• 最初のドラフトを書く

• 不当な主張や余分な情報を見つけるために最初のドラフトを読み直す

• 見つけた弱点を考慮してドラフトを修正する

• など

アンドリュー教授は、このような反復的なワークフローが、人間の作家が質の高いテキストを書くために重要なプロセスであると同様に、AIにとっても極めて重要であると説明しています。

I think AI agentic workflows will drive massive AI progress this year — perhaps even more than the next generation of foundation models. This is an important trend, and I urge everyone who works in AI to pay attention to it.

Today, we mostly use LLMs in zero-shot mode, prompting… pic.twitter.com/nBqySLHqR6

— Andrew Ng (@AndrewYNg) March 21, 2024

エージェントワークフローの精度

デヴィンのデモがソーシャルメディアで大きな話題を呼んだように、彼のチームもコードを書くAIの進化に注目しています。特に、HumanEvalコーディングベンチマークでのアルゴリズムの性能に焦点を当てた研究を行いました。
GPT-3.5（ゼロショット）は48.1%の正確率を示しましたが、GPT-4（ゼロショット）は67.0%と大幅に改善されています。しかし、エージェントワークフローを組み込むことで、GPT-3.5の性能を95.1%まで引き上げることができることが分かりました。

エージェントを構築するためのデザインパターン

アンドリュー教授は、オープンソースのエージェントツールやエージェントに関する学術文献が増加している現在、この分野が非常に興奮すべき時期であると同時に、混乱を招く可能性もあると指摘します。この状況を踏まえ、教授はエージェントを構築するためのデザインパターンを分類するフレームワークを共有し、その有用性を提案しています。これらのパターンには、反省、ツールの使用、計画、そして多エージェントの協働が含まれます。

• 反省：LLMが自身の作業を検討し、改善方法を考え出す

• ツールの使用：ウェブ検索、コード実行、またはその他の機能など、情報を収集したり、行動を取ったり、データを処理したりするのに役立つツールがLLMに与えられる

• 計画：LLMが目標を達成するための複数ステップの計画を立て、実行する（例：エッセイのためのアウトラインを作成し、オンラインリサーチを行い、ドラフトを書くなど）

• 多エージェントの協働：複数のAIエージェントが協力して作業を分担し、アイデアを議論・討論し、単独のエージェントよりも優れた解決策を導き出す

最後に

アンドリュー・ン教授の提唱するこれらのデザインパターンは、AIエージェントワークフローの効果的な活用を目指すすべての研究者や開発者にとって貴重なガイダンスを提供します。次週、教授はこれらのパターンについてさらに詳細な説明を行い、各パターンに推奨する読み物を提案する予定です。