【LLM】Ollama利用のCopilot Page Assist機能拡張を使ってみた話【ブラウザ機能拡張】
はじめに
Firefoxのアドオン「Page Assist」を利用したレビューです。Ollamaをバックエンドとして、ローカルLLMを利用したブラウザ用AI Copilot機能として利用できます。
Microsoft Edge Copilotのローカル動作版と考えると分かりやすいかもしれません。
以前から使ってチェックしていたのですが、動作が不安定だった事と、ローカルLLMの日本語環境が整っていなかったので実用性は皆無でした。しかし、LLM日本語環境が充実してきた事で、ローカルの強みが生かせるようになっています。
※ Chrome版もありますが、現在・脱Chrome中ですのでFirefoxでのレビューです。
※ ローカルでLLMを実行しますので、ゲーミングPCクラスのパソコンスペックが必要になります。筆者のGPUはRTX3060です
導入方法
Page Assist機能拡張のページはこちら、
もちろん、ローカルでLLMを動作させるためのOllamaのインストールも必要です。※ Release欄からOllamaSetup.exeをダウンロードして実行するだけです
Ollamaのデフォルトモデルとして推奨されているllama3.2をダウンロードするには、次のコマンドで可能です。
ollama pull llama3.2日本語RAGを利用するために、次の日本語対応embeddingモデルも導入しておきます。※ kun432氏がOllamaライブラリにアップしているモデルです
ollama pull kun432/cl-nagoya-ruri-largellama3.2は一応マルチリンガル対応モデルですが、筆者はさらに日本語に強いこちらのモデルllama3.1 swallowを利用します。
GGUFに変換するとOllamaで利用できるようになります。
最近はHuggingfaceやollamaライブラリにもGGUFファイルが登録されているので、たぶん自分で変換する必要はないと思います。
Page Assist動作確認
通常のAIチャットフロントエンドとしても利用可能です。
Copilotとして利用
先にRAG設定を行っておきます。（Web記事はRAG参照として扱われます）
基本的にMicrosoft Edge Copilotと似たような使い方が可能です。
※ 説明してと言ってるのに、そのまま書き出したおバカさんですが
選択文字に対して右クリックでの処理も可能です。←たぶんコレが一番便利です
ただし、翻訳機能を利用する場合は、プロンプトを修正する必要があります。デフォルトでは「英語へ」翻訳しますので。
たとえば、
次の文章を日本語に翻訳してください。
Text:
---------
{text}
---------
Response:
とすれば、日本語へ翻訳してくれます。
まとめ
Firefox公式でも（ベータ機能として）ChatGPTやGeminiをCopilotとして利用する機能も追加されていますが、無料枠だと、使いすぎるとしばらくブロックされ、長文ははねられます。
筆者のRTX 3060(12GB)上で、32Kトークン（約3万〜4万文字）利用できますので、ページ翻訳や要約用途として非常に便利です。
動作速度はChatGPT-4oと同程度ですが、サーバー側の状態によらず、常に安定した速度で気兼ねなくAIを利用できる点は、ローカルの強みです。
以下、関連する記事の【PR】です。