見出し画像

特許・論文・科研費も網羅!「神」ツールを導入して爆速で「AI検索エンジン」開発の舞台裏!〜vol.2 怒涛のDify実装&デモ公開編〜

最近、LLM(大規模言語モデル)を使ったAI検索エンジン界隈、マジでアツいですよね!
FeloやGenimiの開発競争がすごすぎて、目が離せない毎日です。
でも、現状って、ウェブ検索には強いけど、ニッチな専門知識を調べたいって時に、ちょっと物足りなさを感じませんか?

そこで、我々(タッキーと私)は、オープンソースの力を使って、そんなモヤモヤを完全解消する「次世代のAI検索エンジン」を作っちゃおう!ってプロジェクトを進めています!
しかも、特許データや論文APIだけじゃなく、日本の研究者の汗と涙の結晶である「科研費データ」とも連携させちゃう、世界でも類を見ないプロジェクト。

前回の記事では、ユーザーが入力した質問を解析して、複数のエージェントを適切に使い分け、最終的にレポート形式で出力するっていう、未来感しかないプロトタイプの概要を報告しました。

今回はその続報!
なんと、LLM開発環境「Dify」上で、実際に動くプロトタイプが爆誕しました!
また、AIの力を使って開発したフロントエンドも公開しちゃいます。
さらに、開発を加速させるための、最強の開発環境も整備。
今回は、その一部始終を大公開しちゃいます!

1. 前回の振り返り:レポート形式で出力、までは良かったけれど...?

まずは、前回の内容を簡単に振り返り。我々(タッキーと私)が開発しているAI検索エンジンの特徴は、

  • ユーザーの質問を解析し、最適な情報源(特許、論文、科研費、ウェブなど)を自動で選択

  • 各情報源から得られた情報を、レポート形式で分かりやすく出力

という点でした。

例えば、「機械学習を使って悪意のあるコードを検出する方法を教えて」という質問に対して、「概要」「関連特許」「関連論文」「実世界での活用例」「今後の展望」といった項目を立てて、それぞれの情報源からの情報を整理してレポート形式で出力する、というプロトタイプを開発しました。

しかし、この時点では、まだ「プロトタイプの概要」が出来上がった段階。実際に動かすためには、まだまだ課題が山積みだったんです。

2. 怒涛の1週間でここまで来た!:Difyで動くプロトタイプ、爆誕!

そして、今回の会議。なんと、開発担当のタッキーが、この1週間で、LLM開発環境「Dify」上に、実際に動くプロトタイプを作り上げてきたんです!これが、本当にすごい!

「カメラだけで自動運転する技術を教えてください」

という質問を入力すると、

  • 技術的背景を説明するLLM

  • arXivから関連論文を検索してくるエージェント

  • 関連するウェブ情報を探してくるエージェント

など、複数のエージェントが、裏側で爆速で動いて、最終的にレポート形式で結果を出力してくれます。

さらに、今回はエージェントの動的な切り替えも実装。ユーザーの質問に応じて、最適なエージェントを自動で選択してくれるんです。
例えば、技術的な質問なら、論文検索エージェントを優先的に使う、といった具合に。

まだ、特許データベース、KAKEN APIとの連携や、出力されるレポートの精度など、改善すべき点はありますが、たった1週間で、ここまで動くプロトタイプを作り上げたタッキー、マジで凄腕すぎます!

3. コーディングに「神」降臨!:開発を爆速化させる、最強のエディタ拡張機能「WindSurf」と「Cline」

開発スピードをさらに加速させるために、我々(タッキーと私)は、開発環境にも徹底的にこだわります。
特に、今回は、コーディングを強力にサポートしてくれる、まさに「神」がかったツールを導入しました!

まず一つ目は、「WindSurf」

これは、複数のLLMエージェントを、まるでサーフボードに乗るかのように、自在に操ることができる、まさに「神」ツール。

WindSurfの特にすごいところは、以下の3つ。

  • マルチエージェント対応: 複数のLLMエージェントを、同時に、かつ、簡単に使い分けられる!

  • コンテキスト認識: 開いているファイルのコードや、エラーメッセージなどを自動で認識して、それに基づいた回答を生成してくれる!

  • シームレスな統合: エディタと一体化しているので、コードを書く、エラーを修正する、質問する、といった一連の作業が、ストレスなく行える!

もう一つの「神」拡張機能が、「Cline」

これは、今話題の「LLM」を、エディタ上で直接使えるようにする、まさに「夢」のようなツール。
Clineを使えば、まるで、優秀なエンジニアが隣にいるかのように、自然言語で質問や指示を出すだけで、的確なコードを提案してくれるんです。

Clineの特にヤバいところは:

  • Gemini 搭載: Googleの誇る、最先端のLLM「Gemini」のパワーを、そのままエディタ上で使える!

  • 日本語対応: 日本語での指示にも、しっかり対応してくれるので、英語が苦手な人でも安心!

これらの「神」ツールを導入することで、我々(タッキーと私)の開発効率は、まさに「爆上がり」!

今まで、ChatGPTと「壁打ち」しながら、コードを書いていたタッキーも、「WindSurf」と「Cline」があれば、もう無敵。

まさに、百人力の「相棒」を手に入れたようなものです。これからの開発が、ますます楽しみになってきました!

4. 技術的深掘り:KAKEN API公開への挑戦

今回の会議では、バックエンドのAPI化についても議論しました。特に、科研費APIを、外部からアクセスできるようにする、という点が大きな課題に。

現状、タッキーの開発した科研費APIは、ローカル環境でしか動作しません。これを、外部からアクセスできるようにするためには、APIを公開するためのサーバーを立てる必要があります。

そこで、タッキーは、「FastAPI」というフレームワークを使って、APIを開発。「ngrok」というツールを使って、ローカルで動いているAPIを、一時的に外部に公開することに成功しました!

しかし、「ngrok」は、あくまでも一時的な公開手段。
本格的に運用するためには、クラウド上にサーバーを立てて、APIをデプロイする必要があります。

このあたりは、AWSなどの有償サービスを使うか、それとも、無料で使えるサービスを探すか、今後も検討を続けていく予定です。

5. 別軸でも開発は進む!:Lovableで、AIと「壁打ち」しながら、STORMのフロントエンドを再現!そして、作ったものを公開!

今回の会議では、ラボメンバーである私が、フロントエンド開発を別軸で進めている話も共有しました。

利用したツールは、「Lovable」。このツール、なんと、自然言語で指示するだけで、Webサイトやアプリのフロントエンドを自動生成してくれるんです!

今回はこの「Lovable」を使って、スタンフォード大学が開発している「STORM」という、類似・関連する技術情報を検索できるデモサイトのフロントエンドを再現してみました。

開発は、まさに「AIとの壁打ち」そのもの。
例えば、「こういう検索ボックスを作りたいんだけど」と指示すると、Lovableがそれっぽいコードを生成してくれます。そして、それに対して、「もうちょっとこうしてほしい」とか、「この部分がおかしい」とか、フィードバックを返すと、Lovableがコードを修正してくれるんです。

この「AIとの壁打ち」を繰り返すことで、なんと、数時間で、STORMのフロントエンドとほぼ同じ見た目のサイトを再現することに成功しました!

そして、今回、このLovableで作ったフロントエンドを、以下のURLで限定公開しちゃいます!ぜひ、実際に触ってみてください!(見た目だけ再現しているので、検索はできません。悪しからず。)


もちろん、見た目は再現できても、裏側の検索機能はまだ実装できていません。しかし、「Lovable」のようなツールを使えば、フロントエンド開発の工数を大幅に削減できる可能性を実感できました。

6. Difyで作ったAI検索エンジンを「限定公開」!(期間限定)

さらに、今回は特別に、タッキーが開発したDify版のAI検索エンジンを、期間限定で公開しちゃいます!以下のURLにアクセスして、実際に動くプロトタイプを、ぜひ体感してみてください!(あくまでもプロトタイプ版なので、おかしな挙動をする場合もあります。 その点はご了承ください。)

公開期間は、本記事公開から1週間を予定しています。 この機会に、ぜひ、未来の検索体験を、一足先に味わってみてください!

7. 今後の進め方:まずは、Difyとフロントエンドを連携させて、ユーザーが使える形に!

今回の会議を受けて、今後の開発方針も明確になりました。

直近の目標は、
「Dify上で動くAI検索エンジンのプロトタイプと、フロントエンドを連携させて、ユーザーが実際に使える形にする」ことです。

具体的には、

  1. Difyの出力を、フロントエンドで表示できるようにする

  2. ユーザーが入力した質問を、Difyに渡せるようにする

という2つのステップで実現する予定です。

この2つが実現できれば、ユーザーは、Webブラウザ上で、我々(タッキーと私)が開発したAI検索エンジンを使って、特許や論文、科研費データなどを、横断的に検索できるようになります。

8. おわりに:次回の記事では、さらにパワーアップしたデモを公開できちゃうかも!?

今回の記事では、我々(タッキーと私)が開発中の「AI検索エンジン」の、まさに「開発現場の生の情報」をお届けしました。
AIの力を使って、これまでにない、全く新しい検索体験を生み出す。そんな我々(タッキーと私)の挑戦に、これからもぜひ注目してください!

次回の記事では、ついに、フロントエンドと連携した、さらに使いやすいAI検索エンジンのデモを公開できちゃうかも!?
これは絶対に見逃せない!


いいなと思ったら応援しよう!

Sumi(スミ)2020@SaaSプロダクト・PdM、新規事業・事業開発
よろしければ応援お願いします! いただいたチップはプロダクト開発の開発費に使わせていただきます!