【Genspark】Autopilot Agentの新機能「データ検索」を試してみた結果...
はじめに
数多くの情報ソースを深掘りして検索する、生成AI検索エンジンの中では異色のGensparkが「Genspark Autopilot Agent」の新しい機能を出しました。
名付けて「データ検索」。
文字通り、定量的なデータを、インターネット上から探してきてくれて、表にまとめてくれる機能です。
今回は以下のようなプロンプトでリサーチを依頼。
OpenAIの「o1-preview」と「o1-mini」のコーディング能力について定量的に比較してください。
調査が終了すると、以下のようなメールが自分のメールボックスに届きます（10分から20分程度かかります）。
「View Report」ボタンを押すと、Gensparkの調査結果のページにジャンプします。
調査結果は以下の通り。
最終結果
この表は、OpenAIの「o1-preview」と「o1-mini」のモデルを、コーディング能力、処理速度、推論能力、安全性、コスト効率の5つの属性で比較しています。これらの属性は、ユーザーが求めるモデルの性能を定量的に評価するために選ばれました。各属性は、モデルの特定の性能面を示しており、ユーザーのニーズに応えるために十分に包括的です。表は、OpenAIの「o1-preview」と「o1-mini」のモデルを、コーディング能力、処理速度、推論能力、安全性、コスト効率の5つの重要な属性で比較しています。
「o1-preview」は、Codeforcesで89パーセンタイルを達成し、高いコーディング能力を示しています。一方、「o1-mini」は1650 Eloを獲得し、上位86%のプログラマーに相当する性能を示しています。
処理速度において、「o1-mini」は「o1-preview」よりも高速で、簡単な数学問題を解くのに10秒しかかかりません。
推論能力では、「o1-preview」は数学オリンピック予選で83%の正解率を達成し、「o1-mini」はSTEM分野で優れた性能を示しています。
安全性に関しては、「o1-preview」はジェイルブレイクテストで84のスコアを達成し、「o1-mini」は安全性と倫理性を重視しています。
コスト効率では、「o1-mini」は「o1-preview」よりも安価で、1Mトークンあたり426.24のコストです。
データは信頼性の高い情報源から得られていますが、最新の情報を保証するものではないため、追加の情報源を参照することをお勧めします。
ユーザーエクスペリエンスやインターフェースの使いやすさ、モデルのトレーニングデータの多様性についても考慮すると、より包括的な評価が可能です。
調査結果の一覧表
以下の興味深い事実が指摘されています（半分宣伝なのでしょうが）。
興味深い事実
オートパイロットエージェントが調査した25の情報源の総単語数は、12500から20000語と推定されています。平均読書速度が1分間に200-250語の場合、これはほぼ1時間の読書に相当します。
データの処理は単なる読書を超え、複数の情報源からの関連情報を深く分析し比較することを必要とします。この作業は情報を2-3回見直すように感じられ、平均的な人にとっては2-3時間の精神的な労力を要する可能性があります。これは実質的に半日の作業です。
しかし、その時間と頭脳を費やす必要はありません。 オートパイロットエージェントは集中的なデータ検索と処理を管理し、最も関連性の高いデータテーブルのみを提示します。これにより、すべての重要な情報が手元に揃っている状態で、本当に重要なことに集中することができます。
同様の内容を英語で依頼した結果
https://www.genspark.ai/autopilotagent?id=c94b9910-7856-4677-a5cb-1ca2cec742a0
ほぼ同じですが、やはり英語で検索した方が情報量は多いです。
まとめ
今回は、実は期待した方の定量的なデータが集まりませんでした。
理由はもともとネット上に情報は転がっていなかったからかもしれませんし、Gensparkが集め切れなかったのかもしれません。
どちらかは不明です。
いずれにせよ、人間が行うような、インターネット上のリサーチを代行してくれて、まとめあげると言う能力を追求しているのだなと言う事はよくわかりました。
この方向性でGensparkが発展していくと、リサーチャー（調査員）としてのAIエージェントが生まれるわけです。
「AIエージェント」というAIの方向性が様々な分野で明確化してきています。
【重版出来】AIアプリをプログラミング不要で開発する書籍
ChatGPTでAIアプリを作って仕事で使いたい方と世界に公開したい方へ