AIを鵜呑みにしないNotebookLMのテスト方法

こんにちは、ヒロです。

数あるブログの中から、僕のブログにお越しいただきありがとうございます。簡単に読める記事を目指していますので、ぜひ最後までお読みください。

このブログでは、デジタルトランスフォーメーション（DX）を促進するための自動化ツールの情報をお届けし、その結果生まれた時間を大切な人との時間や趣味、スキルアップに使っていただければと考えています。

AIの出現によるネガティブな規制

ChatGPTが世に出てから、AI技術の進化は急速に進んでいます。しかし、その能力を恐れ、大企業や政府関連機関では、企業秘密事項の漏洩を防ぐために使用禁止のニュースも多く報じられています。

クローズドの世界

対応策として、クローズドな情報を基にしたChatGPT的ツールがベータ版としてリリースされています。GoogleのNotebookLMもその一つです。このツールの特徴は、AIが参照するデータソースをユーザー自身が選べることにあります。NotebookLMでは、Googleドライブ内のドキュメント、スライド、パソコン上に保存されているPDFやテキストファイル、コピーしたテキスト、WebサイトのURLをデータソースとして追加できます。データソースとして追加できるWebのURLは最大49件、それ以外は20件まで（2024年7月10日時点）です。

自分が選ぶデータソースに対するテスト

データソースを自分で選ぶことで、AIの回答の精度をチェックすることができます。まず、自分が得意な分野や過去からまとめてきた情報を使うことをオススメします。

テストは小規模から

NotebookLMは複数のノート、つまり異なるデータソースのノートを作ることが可能です。自分の得意分野をいくつか選んで小規模からテストしてみると良いでしょう。

テスト例

いくつかテストした例をシェアします。

• ツールのWebサイトからヘルプに関する情報

• 自社製品のカタログ情報

いずれも内容には詳しいのでAIの回答と自分の理解の答え合わせができます。

NotebookLMなどのAIの素晴らしいところは、回答のスピードが速いだけでなく、回答の元になっているデータソースのどの部分を参照しているかが明確に分かる点です。さらに、プロンプトから設問を提案してくれる機能もあります。いわゆるFAQです。

NotebookLMに関しては、友人のけいすけさんが分かりやすく記事を書いていますので是非参考にしてみてください。

何故テストをするのか？

AIの回答精度を確認するだけでなく、将来的にクローズドのデータソースを公開できるのであれば、顧客サポートにも利用できると考えられます。現在はチャットボットが主流ですが、AIを利用したものが当たり前になるでしょう。

自社製品に関する問い合わせにAIを使う際には、このようなテストを繰り返すことで、回答精度を向上させることができるでしょう。

まとめ

AIを使ったツールとしてNotebookLMを例に、テストする方法を簡単にご紹介しました。個人で使う場合と比べ、公開する場合にはテストを繰り返しながら回答精度の確認を行うと良いでしょう。

では、次回もお楽しみに！