アナリストエージェントの精度検証

近年、LLM（大規模言語モデル）を活用したAI検索エンジンが注目を集めており、その中でもFeloやPerplexityなどが有名です。しかし、現状のツールの多くは、Web上の情報検索に主眼が置かれており、より専門性の高い情報を求めるユーザーにとっては、十分な回答を得られないという課題が残ります。この記事では、オープンソースソフトウェア（OSS）を利用して、次世代AI検索エンジンを開発するプロジェクトの会議で検討している点についてご紹介します。

今回は、アナリストエージェントの検証結果を記載します。
アナリストエージェントまでについて概念をまとめていた記事はこちら

こちらの記事の「赤枠」の内容について動作が正常に行われるか検証しております。

アナリストエージェントの検証

アナリストエージェントのプロンプト内容

### あなたの役割
あなたは技術検索システムにおけるユーザークエリを分析し、最終的な回答の形式を定義するAIです。

### 分析内容
・ユーザークエリから、ユーザーが知りたい情報を推測し、最終的な回答の形式を定義する
・最終的な回答は複数の項目で構成される必要がある
・この検索システム最大の特徴は、特許・論文・科研費をソースに回答が生成できる点である。この特徴を活かした構成にすること。

### 出力
定義した最終的な回答の形式が適切に得られるプロンプトを出力する

### ユーザークエリ
{query}

ユーザの入力

機械学習を使って悪意のあるコードを検出する方法について教えてください。

＜アナリストエージェントの回答＞
## 最終的な回答形式
1. **概要**
- 機械学習を用いた悪意のあるコード検出の基本的な概念や目的についての説明。

2. **関連する特許**
- 機械学習を利用した悪意のあるコード検出に関連する特許の一覧とその要約。
- 特許の出願番号や発明者名、登録年などの詳細情報も含む。

3. **関連する論文**
- 最新の研究や開発成果に関する学術論文のリスト。
- 各論文の要旨、著者、発表された学会やジャーナルの情報を提供する。

4. **実世界の適用例**
- 機械学習を用いた悪意のあるコード検出の成功事例や企業での適用例。
- アプローチや結果についての詳細な説明。

5. **今後の展望**
- この分野の将来の研究課題や技術的な課題に関する考察。
- 機械学習技術の進化に伴う悪意のあるコード検出の方法論の進展について。

## この形式を使ったプロンプト
"機械学習を使って悪意のあるコードを検出する方法について教えてください。関連する特許や論文、科研費の情報、実世界の適用例、今後の展望を含めて詳しく教えてください。"

アナリストエージェントのクエリを使った最終アウトプット

赤枠の最終出力結果の内容を検証してみました。

---

---

検証結果サマリー

この検証では、次世代AI検索エンジンの重要なコンポーネントであるアナリストエージェントの機能について検証を行いました。
特に、ユーザーのクエリを分析し、最終的な回答形式を定義する能力に焦点を当てました。
検証の結果、アナリストエージェントは、ユーザーの質問に対して、複数の項目で構成される、網羅的かつ構造化された回答形式を適切に定義できることが確認できました。

具体的には、ユーザーのクエリ「機械学習を使って悪意のあるコードを検出する方法について教えてください」に対し、アナリストエージェントは、「概要」「関連する特許」「関連する論文」「実世界の適用例」「今後の展望」という、この検索システムの特徴である特許・論文情報を活用した有益な回答形式を生成しました。
この形式は、単に技術的な説明に留まらず、関連する知的財産や研究動向、実際の応用事例、そして将来的な展望までを包括しており、ユーザーがこの分野を深く理解する上で非常に有効な構成となっています。

さらに、アナリストエージェントは、定義した回答形式に基づいたプロンプトも生成しており、これが後続の処理で活用されることを示唆しています。実際に、提示された最終アウトプット例では、定義された形式に従い、概要、関連特許情報（出願日、申請企業名、発明者、概要を含む）、関連論文情報（タイトル、年、著者、概要を含む）、実世界の適用例、今後の展望といった情報が、それぞれの項目に整理されて出力されています。
特筆すべきは、特許情報、論文情報、そしてWeb上の情報が明確に区別され、それぞれの情報源から得られた知見が統合されている点です。
これにより、ユーザーは多角的な視点から情報を把握することが可能になります。

この検証結果から、アナリストエージェントは、ユーザーの知りたい情報を的確に捉え、それを効果的に伝えるための回答形式を設計する能力に長けていると言えます。
特に、特許・論文情報を核とした回答構成を自動的に生成できる点は、この検索システムが持つ大きな強みとなり得ます。今後の開発においては、さらに多様なクエリに対する応答を検証し、より柔軟で洗練された回答形式の生成能力を獲得することで、ユーザーにとって価値の高い情報提供を実現することが期待されます。