【超入門 】 Page Assist 経由でモデルのダウンロード方法
超入門の続きです。Page Assist 経由でモデールをダウンロードする方法についてです。
最初に、モデルのダウンロード先は以下の３つがあると思ってください。
Ollama の公式ライブラリ
Ollama のプライベートライブラリ（みんながOllamaで使えるモデルをアップしているところ）
Hugging Faceのggufモデル
順番に説明します。
１：Ollama の公式ライブラリ
まずはこちらで提供されていたら、問題なく動きます。
気になったモデルを探してみてください。SortでPopularあるいはNewst順で並べ替えができます。デフォルトではPopular順です。
たとえば、日本語能力も高いQwen2.5は、2024.10.28現在では４番目にあります。
qwen2.5がリンクになっているので、クリックしてみましょう。
Qwen2.5と一言でいっても、実はいくつか大きさの違うモデルがあります。上の画面上では7bモデルが表示されていますが、他にも、0.5b, 1.5b, 3b, 14b, 32b, 72bのモデルがあります。bは10億をあらわすBillionの略です。数が多いほど、知識も多く賢いと考えて貰えばいいと思います。ただその分、動かすのに大きなメモリーと高いPC能力が必要となります。
たとえば上の画像だと、7bモデルで、parameters 7.62B, quantization Q4_K_M そして右端には 4.7GBというのが読み取られると思います。
シンプルにこのモデルは4.7GBをダウンロードして、このサイズよりも大きいGPUメモリがないとまともに動かないというふうに考えてください。
あと、知っておくことは、quantization (量子化) のことです。これも簡単にいえば、モデルを動かすために元々のモデルをシンプルにダウングレードすることだと考えてください。必要とするメモリは減りますが、性能は劣化します。それでも、一般的には Q4_K_M ならそこそこバランスよくダウングレードされて動くと言われています。数字が小さいほど劣化が大きいと覚えておくといいでしょう。
今、上の画面での右端にcopyボタンがあるので、コピーしてみると下記になります。Ollamaをterminalで動かしてる時は、これをそのままペーストすればいいわけです。日本語でいえばqwen2.5をollamaで動かす(run)という命令を実行するという話ですね。
ollama run qwen2.5
さて、Page Assistには下記のページがあります。
ここで、Ollama Modelsのタブ状態で、新しいモデルを追加ボタンを押して、さきほどの ollama run qwen2.5 の最後もモデル名だけを追加したら自動的にダウンロードしてくれます。
あるいは、もっと大きなパラメータ（賢い）モデルを選択するならば、左端で32bを選択したら以下のページになるので、Q4_K_Mの量子化モデルを使おうとすれば、モデル名に qwen2.5:32b を入れれば良いわけです。
なお他の種類の量子化はTagsをクリックしたら、一覧がでますので、そこからピックアップして、モデル名のみを拾い出せばいいわけです。
例ですが、これを選んで、太字部分をクリックします。そしたら、この画面です。
右端をコピーしたら、以下となるので、モデル名は、qwen2.5:1.5b-instruct-q8_0 ということです。
ollama run qwen2.5:1.5b-instruct-q8_0
2:Ollama のプライベートライブラリ
有志がそれぞれOllama用に動くモデルを挙げているのも使うといいでしょう。私もいくつか日本語が動くモデルをOllama用に変換してアップしています。
たとえば下記を見てみましょう。
さらに見ると、下記の感じです。
同様にコピーすると下記です。
ollama run lucas2024/gemma-2-2b-jpn-it:q8_0
この場合は、モデル名は、lucas2024/gemma-2-2b-jpn-it:q8_0 となるので、こちらの部分だけを Page Assistのモデル追加に貼ればいいわけです。
（Tips:全部貼ってから、ollama runを削除したほうが楽です）
3:Hugging Faceのggufモデル
Page Assistのバージョン 1.3.1から、Huggingfaceのggufのポップアップから直接ダウンロードが可能になりました。下記Postで動画でみれます。
Page Assist v1.3.1
— Nazeem (@n4ze3m) October 27, 2024
Added a simple 'Pull from Page Assist' button to the GGUF popup for .@Ollama on Hugging Face. When clicked, it pulls the model without leaving the browser :) pic.twitter.com/pemaT1Fe08
Page Assistが動いてる状態でHuggingfaceのggufモデルのページをどれか開いてみてください。
たとえば、個人的に今気に入ってる、こちらで紹介します。
ページ右上に下記画面があります。
こちらの Use this model をクリックすると…
一番下に、Page Assistのバックで動いてくれている Ollama が選択できるようになっています。こちらをクリックしましょう。
以下のポップアップがでます。
右の端に、「Pull from Page Assist」というクリック画面がでます。
まんなかには先に説明したGGUFを選べるようなプルダウンがあります。
Q4_K_M を選択したら、こうなります。
ここで Page Assistからこのモデルをダウンロードする"Pull from Page Assist" をクリックしましょう。
最初、下記のパネルがでます。
Page Assist 機能でダウンロードするけどいいね？ という話です。あと注意として、ちゃんと Ollamaは動かしておいてね、ということです。
OKを押してください。
またパネルが出ますが、こちらも OK を押します。
ダウンドードの進行が%表示で、Page Assistのアイコン上に表示されます。
おわったら、モデル管理画面を確認してみましょう。
ちゃんとダウンロードできて、Page Assistで使えるようになりました。
GGUFモデルですが、そのなかに tokenizer.chat_template がちゃんと記述されてるのでないとスムーズに動かないことがあるので、それが記述されているかを、確認した方がいいでしょう。
#AI #AIでやってみた #やってみた #Ollama #ローカルLLM #Huggingface #LLM #言語モデル
いいなと思ったら応援しよう！
