【LLM】Ollama利用のCopilot Page Assist機能拡張を使ってみた話【ブラウザ機能拡張】

はじめに

Firefoxのアドオン「Page Assist」を利用したレビューです。Ollamaをバックエンドとして、ローカルLLMを利用したブラウザ用AI Copilot機能として利用できます。

Microsoft Edge Copilotのローカル動作版と考えると分かりやすいかもしれません。

以前から使ってチェックしていたのですが、動作が不安定だった事と、ローカルLLMの日本語環境が整っていなかったので実用性は皆無でした。しかし、LLM日本語環境が充実してきた事で、ローカルの強みが生かせるようになっています。

※ Chrome版もありますが、現在・脱Chrome中ですのでFirefoxでのレビューです。

※ ローカルでLLMを実行しますので、ゲーミングPCクラスのパソコンスペックが必要になります。筆者のGPUはRTX3060です

導入方法

Page Assist機能拡張のページはこちら、

Page Assist - A Web UI for Local AI Models – 🦊 Firefox (ja) 向け拡張機能を入手

もちろん、ローカルでLLMを動作させるためのOllamaのインストールも必要です。※ Release欄からOllamaSetup.exeをダウンロードして実行するだけです

Ollamaのデフォルトモデルとして推奨されているllama3.2をダウンロードするには、次のコマンドで可能です。

ollama pull llama3.2

日本語RAGを利用するために、次の日本語対応embeddingモデルも導入しておきます。※ kun432氏がOllamaライブラリにアップしているモデルです

ollama pull kun432/cl-nagoya-ruri-large

llama3.2は一応マルチリンガル対応モデルですが、筆者はさらに日本語に強いこちらのモデルllama3.1 swallowを利用します。

GGUFに変換するとOllamaで利用できるようになります。

最近はHuggingfaceやollamaライブラリにもGGUFファイルが登録されているので、たぶん自分で変換する必要はないと思います。

Page Assist動作確認

通常のAIチャットフロントエンドとしても利用可能です。

Page Assistチャット画面

Copilotとして利用

先にRAG設定を行っておきます。（Web記事はRAG参照として扱われます）

Page Assist RAG設定

基本的にMicrosoft Edge Copilotと似たような使い方が可能です。

サイドバーにPage Assistのページがあります。
※ 説明してと言ってるのに、そのまま書き出したおバカさんですが

選択文字に対して右クリックでの処理も可能です。←たぶんコレが一番便利です

選択文字に対する処理も可能

ただし、翻訳機能を利用する場合は、プロンプトを修正する必要があります。デフォルトでは「英語へ」翻訳しますので。

プロンプトを管理

たとえば、

次の文章を日本語に翻訳してください。

Text:
---------
{text}
---------

Response:

Copilotプロンプト：翻訳

とすれば、日本語へ翻訳してくれます。

まとめ

Firefox公式でも（ベータ機能として）ChatGPTやGeminiをCopilotとして利用する機能も追加されていますが、無料枠だと、使いすぎるとしばらくブロックされ、長文ははねられます。

筆者のRTX 3060(12GB)上で、32Kトークン（約3万〜4万文字）利用できますので、ページ翻訳や要約用途として非常に便利です。

動作速度はChatGPT-4oと同程度ですが、サーバー側の状態によらず、常に安定した速度で気兼ねなくAIを利用できる点は、ローカルの強みです。

---

以下、関連する記事の【PR】です。