NotebookLMは社内用チャットボットとして活用できるのか検証してみた
こんにちは。OfficeBotマーケティング担当の奥田です。様々な展示会に出展する中で、最近は、社内のナレッジ共有や情報検索を目的にGoogleのNotebookLMの活用を検討されているお客さまとお話させていただく機会が増えています。
NotebookLMは簡単に使えるのか、回答精度はどうなのか。
今回は、実際にNotebookLMの無料版を使って、社内チャットボットとしての実力を検証してみました。
はじめに
前提情報として、「NotebookLM」と「生成AIを活用したチャットボット（RAG）」についてざっと説明します。
NotebookLMとは？
公式サイト：https://notebooklm.google.com/
NotebookLMは、Googleが提供する生成AIサービスです。外部ドキュメントを迅速にアップロードでき、ノートスタイルのインターフェース上で効率的な情報検索やドキュメント管理が可能です。
主な機能
Googleドキュメント、PDF、テキストファイル、Googleスライド、ウェブサイトのURLなど、様々な種類のファイルをアップロードすると、ファイルの内容についてAIが要約して回答します。画像やグラフにも対応しており、スライドやドキュメント内の画像、グラフ、図についても質問できます。
また、回答の際には、回答の根拠も提示されるので情報の信頼性も確認することができます。
生成AIを活用したチャットボット（RAG）について
問い合わせ対応や情報検索などで独自情報を生成AIに扱わせる場合、これまではファインチューニングが必須でした。
ファインチューニングの実施には膨大な量のデータを用意しなければならない上、AIの知識やプログラミングのスキルも欠かせません。
このファインチューニングをせずに、生成AIに独自情報を扱わせる方法が「RAGの使用」です。
RAG（Retrieval Augmented Generation：検索拡張生成）は、AIが外部のデータソースから必要な情報を探して回答を生成する仕組みです。データソースに事前に情報を登録しておくだけで、AIがその情報を使って問い合わせに自動で回答します。
例えば社内のバックオフィス部門へ寄せられる問い合わせへの対応を任せたい場合、社内規定を登録することで、AIが自動で対応できるようになります。
NotebookLMを実際に使ってみた
今回は社内向けを想定して、NotebookLMに社内資料をアップロードし、社内チャットボットとして運用できるようにしてみました。
1.公式サイトにアクセスしログイン
公式サイト：https://notebooklm.google.com/
Googleアカウントがあればすぐに使い始められます。
2.マイノートブックを新規作成
新規作成を選ぶと資料のアップロード画面に遷移します。
3.ソースをアップロード
後は使いたい資料をアップロードすれば完了です。
使い方は非常に平易だと思います。
4.テストしてみる
資料のアップロードまで行ったので、回答が返ってくるのか試してみます。例として、育休に関する質問をしてみました。
回答文がかなり長くなっており、読むのが少し大変ですが必要な情報は網羅できていそうです。内容についても問題ないと思います。
この回答精度が他のドキュメントでも発揮できるのであれば、業務でも問題なく使っていけるのではないでしょうか。
感想
NotebookLMを触ってみた感触としては、非常に直感的に使うことができたという印象です。資料のアップロードから質問まで非常に分かりやすいUIで、誰でも手軽に使い始めることができそうです。
NotebookLMの回答精度をOfficeBotと比較してみた
ここからは、生成AIを業務で活用する上で最も重要な「回答の精度」について弊社が提供しているOfficeBotと比較しながら見ていきたいと思います。
OfficeBotとは
具体的な比較をする前に、弊社の「OfficeBot」を軽くご紹介させていただきます。
OfficeBotは高い回答精度とリーズナブルな価格を強みとするRAGチャットボットです。ドキュメントを登録するだけで問い合わせ業務の効率化やナレッジマネジメント等に活用できます。 RAGの製品としては数少ない画像認識に対応したサービスですので、多種多様なドキュメントを活性化し、業務効率の向上をサポートします。
NotebookLMとOfficeBotについて把握したところで、いよいよ比較していきましょう。
1.テキストのみで構成されたドキュメント
まずは、比較的単純なテキストのみで構成されたドキュメントからどのような回答が生成されるのか見ていきます。
投入したデータは国内出張規定のPDFです。
資料の中に記載のある、「旅費が支給されない条件」について質問してみます。
OfficeBotの回答
NotebookLMの回答
これはすごいですね！
ほとんど同じ回答が返ってきました。回答の参照元がテキストのみのドキュメントについては問題なく使えそうです。
2.テキストのみで構成されたドキュメント
次は正社員の就業規則のPDFに対して「正社員は有給が何日取れるのか」質問をしてみます。
この資料も先ほどと同様にテキストのみで構成されたドキュメントですが、一部表のようになっている部分があります。
OfficeBotの回答
OfficeBotでは、質問に対して正確かつ、見やすいように箇条書きで回答してくれています。
NotebookLMの回答
NotebookLMでは正社員の有給休暇について、勤続年数に応じて付与される日数が定められてるということは分かるものの、具体的な日数に関しては明示されていないとの回答が出てきます。
加えて、質問していない契約社員の有給について回答してしまっています。
資料の中から情報を探せていない上に、答えなくてもいい情報が含まれることで文章量が増え、読みにくい回答になってしまっています。
同じ資料を登録し、同じ質問をしたにも関わらず、NotebookLMでは答えることができませんでした。
テキストのみで構成されているドキュメントでも記載の方法によってはうまく読み取れないものもあるようです。この場合、うまく回答を出すためには元の資料を編集し、AIが読み取りやすい形にする必要があります。
3.グラフの読み取り
本記事内で、OfficeBotとNotebookLMは共にグラフや図からの回答が可能とご紹介しました。
実際に以下のようなグラフをPDFとして投入し、正しい読み取りができるのか比較してみました。
資料右側の棒グラフに関する質問をしてみます。
質問は「製品Aの2025年の売上はいくらですか？」です。
OfficeBotの回答
OfficeBotの回答は正確に資料を読み取ることができています。さらに、グラフのタイトルの(千万円)の部分も読み取り、数字につけ足して回答をしてくれています。
NotebookLMの回答
NotebookLMでは、グラフ内の数字は読めているような気はしますが、回答としては間違えてしまっています。
余談ですが、このグラフをOfficeBotがどのように読み取ったのか気になったので調べてみました。
この画像はOfficeBotのファクトチェックの機能を使ってAIがグラフをどのように解釈しているのかを表示させたものです。
見ていただければわかる通り、完璧に解釈できています。この高い解釈力がOfficeBotの回答精度の高さの秘密であると言えます。
4.フローチャートの読み取り
最後にフローチャートを投入して回答結果を比較してみます。
OfficeBotは画像認識に対応したことにより、フローチャートも読み取ることができるようになりました。
実際に、展示会などでも、「フローチャートを含む資料から回答して欲しい」というお客様とお話するケースが非常に多いです。
今回は、下のような簡易的なフローチャートを作ってPDF化し投入してみました。
OfficeBotの回答
OfficeBotでは、正しく回答ができています。
上2つの画像を見比べていただければ分かる通り、正確に読み取れているかと思います。
フローチャートも読み取れると使える資料の幅が広がってとてもいいですね！
NotebookLMの回答
「お問い合わせ対応に関する具体的なフローは提示された資料からは直接的には見つかりませんでした。」という回答が返ってきました。
関連する情報も併せて教えてはくれていますが、質問の意図とはかなりずれた回答となっていました。
比較結果
以上、単純なテストではありますが、両者の回答結果を比べてみました。
どちらもテキストのみで構成されたドキュメントに関しては、正確に回答することができていました。
ただ、NotebookLMは文章の書き方によっては、うまく読み取れない場合があるため、元資料の加工・修正が必要になりそうです。
また、グラフやフローチャートからの回答はうまくいきませんでした。
このあたりは明確なマイナスポイントであるように感じます。
まとめ
NotebookLMを使うことで簡単に社内チャットボットを作ることができました。登録データが複雑でなく、テキスト中心に構成されているものに限定すれば、回答精度も高く問題なく使えました。
一方で、グラフやフローチャートからの回答はうまくいきませんでした。これらは、正しく読み取れるように修正する必要がありそうです。
また、OfficeBotの回答精度の高さには驚きました。
テキストだけでなく、グラフなども正確に読み取り、回答ができていました。
社内の資料がテキストのみで構成されていることは少なく、グラフなどが含まれている場合がほとんどです。このような資料を活用したい場合はOfficeBotのようなRAGに特化したサービスを使う方がよさそうです。
最後にNotebookLMの良かった点、気になった点をまとめてみました。
あくまでも社内用チャットボットとして活用した場合ですので、その点はご了承ください。
NotebookLMの良かった点
無料で使える。
テキストであれば回答精度は高い。
UIが分かりやすく、誰でも簡単に使うことができる。
回答の根拠を容易に確認できる。
複数のノートを作成し、使い分けができる
URLをソースとして登録できる。
NotebookLMの気になる点
無料ツールの使用はセキュリティの観点からハードルが高い
有料プランの場合、1ユーザーあたり20ドル(約3000円)が発生する(利用人数が51人以上ならOfficeBotがお得)
使いこなすにはgoogleワークスペースの導入が推奨される。(日本企業ではMicrosoft365が主流)
officeドキュメントはPDF化する必要がある。
グラフやフローチャートが含まれるドキュメントはうまく読み取れない可能性が高い。
無料プランの場合、ソースの登録上限が1つのノートブックあたり50ファイルまで
ここまでお読みいただき、ありがとうございました。