検索エンジンはもう信用できない!AIで世界情勢を検索できるボットを作る
はじめまして、とーどーと言います。
普段はサラリーマンとして営業に従事する傍ら、趣味で日々世界で起きる出来事を調べてデータベース化し、それをまとめた動画を投稿しています。
ただ、メインの活動であるニコ動が、ロシアンクラッカーの襲撃により2024年6月からダウンしてしまい、動画投稿活動が止まってしまいました。
アウトプットが止まると、ただ毎日世界情勢を調べて追記するだけの、インプットだけの毎日と化します。
ぶっちゃけすぐに飽きました。これじゃいかんとも思いました。
なんかこのデータベースを有効活用できないかな、と。
そこで、このデータベースを外にも開放する事を考え、今回のボット制作に思い至りました。
1,目指すは検索エンジンの代替品
皆さんも、最近、検索エンジンの質が低下していると感じていませんか?
純粋に検索エンジンの精度が下がった結果なのか、メディアが乱立した上に個人も情報発信が容易になった事で類似記事があふれた結果なのか……。
少し前に起きた出来事について調べようとしても、なかなか自分が知りたいクリティカルな情報に至らず、結局ソース元不明なウィキペディアに頼ったりすること、ありますよね。
あとは過去ニュースの記事が消えてたり、すぐ有料化して記事の内容がほとんど見れなくなることも良くありませんか?
あれすごい困るんですよね、後から検証しようにも元記事消えてたらまた調べなおしです(特にNHKとyahoo。なんであんなすぐ消すんですかね?)。
私は普段から海外記事を中心に世界で起きた出来事を検索し、エクセルで作っているデータベースにまとめています。
海外記事のいい点は、そう簡単に記事を消さない事。あと和訳された記事だと海外版から文字数が減らされていて、補足や経緯情報が消えてる事がざらなので、原文を調べに行くのが一番確実だと考えています(ロイター記事が多いのはちょっと反省してます)。
自分で動画を作ったり調べ物をするときには、「あの事件っていつ起きたっけ?」と思ったときに、自分のデータベースからすぐに該当記事のURLに飛んで調べる事ができています。
なので、シンプルにこれを公開する事って結構需要あるんじゃね?と思いました。
ただエクセルを公開するだけではもったいないので、UIを整えてサジェストも行ってくれるようなボットにして公開すれば、かなり便利な代物になるんじゃないか。こう考えて、今回のボット制作に取り掛かりました。
余談ですがこのデータベース、紀元前から現在までを、それこそ楔形文字の出現やエジプト第一王朝の成立から、つい最近のトランプ前大統領への銃撃事件といった出来事まで、行数は7000行を超えています。作り始めたのは2014年。なんと10年経過しました。あの頃は若かった。
脱線しましたが、こんな思いから世界情勢を検索できるボットを作ってみようと思いました。目指すは検索エンジンの代替品!
・・・ちょっと大言壮語すぎかもですが、目標は大きく、という事で。
2、製作開始!まずはボット構築のためのサービス選定!
私は今まで10年近く、営業のみに従事してきたので、プログラミングのイロハがわかりません。6年ほど前にHPを作りましたが、もう記憶の彼方に消し飛んでいます。
ボットを作るためにイチからプログラミングの勉強をし始めては多分挫折するので、ここは素直に文明の利器であるAIを使う事にしました。
GPTを活用したボットを構築できるサービスはかなり増えているので、あれを使えば自分でも簡単にボットが作れそうだと考えました。
いくつかのサービスに触れた結果、今回はmiibo(https://miibo.jp/)を使う事にしました。わかりやすい日本語UIというのもありますが、エクセルの読み込みができるので、今あるデータベースをそのまま使えるのが大きかったです。
という事で、善は急げ。さっそく作り始めてみました。
ここから先は作り方編となります。初心者が四苦八苦する様をご覧ください。
3,データベースをGPTに読み込ませてみる!
まずはmiiboに読み込ませる為に、データベースを改修します。
今のデータベースでは、年月日をそれぞれ別列に記載していたので、DATE関数にてまず日付を統合。次いで不要な列を削除し、データベースの列を4つにまで絞りました。
年月日、関わった国名、事件概要、参照元URLの4つです。
さてこれをmiiboに食わせてみましょう。
チャットボットの選定時にアカウント作って触ってたので、アカウントの開設方法は割愛。
新しくエージェントを作成します。
取り合えず仮でプロンプトを作成し、「会話の設定」→「ナレッジデータストア」から作成を開始。「データを追加する」から「Excelファイルをアップロード」して、さっき改修したデータベースを読み込ませてみます。
すると・・・
え、文字数制限なんてあるの!?!?!?
知りませんでした。見た瞬間頭抱えました。どうすんのこれって。
文字数制限を超えた理由は察しがつきます。検索した人が元記事へ飛べるようにしたいので、データベース中にURLを記載してます。純粋にこれが長い。
しかも私の情報収集元は、海外版ロイターなどの海外サイトが多く、URLが長い傾向にあります。そりゃあ20万文字を突破するわけです。
文字数制限を超えるのなら、読み込ませるデータ量を減らすしかありません。
今回は、2023年から2024年半ばまでの、1年半のデータ量にまで削減させました。最近の出来事であればあるほど、意図した通りの検索にたどり着かないケースが多いと体感しているので、まずは直近の出来事から試してみてみようと思った次第です。
それに、miiboのナレッジデータストアには30ファイルまで読み込ませることが可能なので、成功したら別の年代のデータを読み込ませれば万事解決ですしね。
そうしてデータ量を減らした結果・・・
読込成功!20万文字の文字数上限ギリギリでした。
さて、データベースをGPTに読み込ませる事は出来たので、次はGPTがちゃんと読み込んで、思ったっとおりに出力してくれるかどうかです。
4,はじめてのけんさく
さて、miiboで作るチャットボットの脳みそ部分は、これで読み込ませることができました。つーかデータベースの改修からここまで2時間程度ですよ、めっちゃ早くないすか?
ではでは、試しに何か尋ねてみましょう。
どうせ失敗するし、まずは「2023年4月に起きた出来事を教えて」とでも尋ねましょうか。失敗は成功のもと、軽い気持ちで・・・
なんかそれっぽい出力がされたんですが?
いやいや、まだ慌てる時間じゃない。結論を出すにはまだ早い。
こういう時こそ冷静に、読み込ませたデータベースに上記の出力結果が存在するか見に行ってみましょう。
「嘘つくんじゃありません!」ってプロンプトしたとは言え、そう簡単にうまくいくはずが・・・
いやちゃんと出力されてるんですが。
驚きました。2時間程度でここまでちゃんとした出力ができるものなんですね。miiboさん、流石です。
5,検索エンジンの代替になるためには?
という事で、世界情勢検索ボット、作れました!!!
・・・いや、正直0か1かで言えば「できた」と言えるだけで、これを一般公開できるとは思っていません。それでも一歩どころかかなりの前進であるのは間違いないですね。
一般公開に必要な要素をちょっと並べてみます。
・ただのチャットボットじゃなくて、UIにはある程度こだわりたい。
・検索のさせ方、誘導方法をちゃんと確立させなきゃいけない。
・どうやって公開するの?HP作るん?
・ボットの出力結果をもう少し洗練させたいし、検索した方が元記事のURLまで辿れるようにしたい。
・色々な方に使ってもらいたいので、周知方法も考えないと。
etc、etc、etc・・・
より多くの情報をより多くの方々に見てもらうために必要なのは、このボットがいかに便利で、いかに使いやすいのか、コンセプトに共感してもらえる人がどれだけいるのか、UIへの工夫も必要、などなどなど・・・
色々と試行錯誤していきたいですね。
まだまだ前途多難ですが、越えられない壁ではなさそうです。がんばります!
こんな感じで、ボットの制作は今後も進めていきますので、またこの場でご報告できればと思います。興味ある方、ぜひ継続してお付き合い頂けると幸いです。
お目通し頂き、ありがとうございました。
追伸)以前から私をご存じの方々へ。今までの動画投稿活動を縮小したり辞めたりする事は考えていません、ご安心ください。
6,おまけ
おまけと言うより、ダイレクトマーケティングです。
以前から投稿している世界情勢解説動画の投稿先です。よろしければ見ていただけると嬉しいです。
・ニコニコ動画:nicovideo.jp/user/98095401(8/5に復旧予定)
・Youtube:https://www.youtube.com/@todo1582
あとはいいねとか高評価とかフォローとかもらえるととても嬉しいです!
ではまた!
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?