GGUFフォーマットのAI言語モデルをollamaに変換する方法
GGUFフォーマットのAI言語モデルHugging Faceに行くとGGUFフォーマットのAi言語モデルが多数公開されています。
今回はGGUFフォーマットをollamaに変換して使用する方法をお伝えします
GGUFの入手日本語が使えるGGUFをいくつか紹介します
GGUFダウンロード例としてここから
rinna-youri-7b-q4_K_M.gguf
をダウンロードしてみましょう
モデルによって容量が違うの、自分のCPU,GPUに合わせて選んでください。
例として