シニアだけどLM StudioでMistralとLlama3をダウンロードしよう
どうも、駆け出しシニアのHot3DegC(ホットサンド)です。
最近、Chat with RTXの方に浮気していたら、LM Studioがアップデートしていたみたいです。
そんなに長い間、放置していたはずはないと思うんだけど……
注目の新機能の確認
まずはじめに、確認出来たアップデートされたバージョンは、0.2.19と0.2.20になりますので、順を追って確認していこうと思います。
バージョン0.2.19の主なアップデート内容
テキスト埋め込みモデルのサポート
バグ修正とパフォーマンスの改善
CohereForAI/Command-R-Plusのサポート
MistralAI Mistral 8x22B（ベースモデル）のサポート
GGUFモデルファイルのダウンロードと実行のサポート
私が特に注目したのは、Mistralの22B（ベースモデル）のサポートですかね。
利用出来る大規模モデルが増えるということは、それだけ用途にあわせた選択肢が増えることに繋がりますし、精度の向上は言うまでもなく大歓迎なことですしね。
因みに、テキスト埋め込みモデルやGGUFモデルファイルのサポートって今までも出来ていたんじゃないかと思うんだけど、何か拡張されたのかな？
時間に余裕があれば調べてみようと思います。
バージョン0.2.20で追加された機能
Metaの"Llama3"が利用可能に
こちらは、Llama3の公開に併せて数時間レベルで対応したんでしょうね。
なんせ今朝発表されたはずなんだと思うんで、LM Studioのやる気が凄いと感じます。
提供されるモデルサイズは、ふたつあり8Bと70Bになるそうで、15兆トークンにトレーニングされた強力なモデルらしいですね。
前モデルのLlama2と比較すると7倍のデータ量でコードデータでは4倍になっているそうです。
MistralとLlama3のダウンロード
では、早速２つのモデルをダウンロードして利用してみようと思います。
が、現時点ではLMStudioからLlama 3を直接ダウンロードすることはできないようでしたので、Llama3については、もうしばらく様子をみてみましょう。
Mistral 22B とGeminiの日本語での対応状況
Llama3については少々残念ではありますが、一旦気を取り直してMistralをダウンロードして日本に関する情報と日本語での回答能力を検証してみました。
神奈川県のことを「Kushinawa」と紹介してくれているようなのですが…。
プロンプトが日本語だからダメなのかな？と思い英語で質問してみることにしました。
こちらも聞いたことのない伝統料理を紹介してくれていたり、築地魚市場が東京の神奈川地区にあるなどのお茶目な紹介をしてくれています。
残念ながら、日本の情報に関する知識はあまり学習されておらず日本語での回答も難しい状況ですね。
このままでは、少し寂しいのでGeminiモデルでも同様に神奈川県について紹介してもらいましたが、内容は期待ほどではありませんでした。
こちらは、日本語では回答してくれているのですが、やはり学習レベルはそれほど高くないようですね。
やはりこのあたりはクローズドモデルのサービスとの間にまだまだ距離があるように感じますね。
なので、情報収集等に関しては、当分はChatGPTやGeminiのお世話になりそうです。
そうなのです！お気づきかも知れませんが、最近はChatGPTよりGeminiで情報収集したりすることが多くなってきました。
後発の大規模モデルほど高い生成能力をもっているので、より新しく洗練された情報が得られやすいですよね。
まとめ
この結果から、LM Studioのサポートするモデルはまだ日本語での使用には最適化されていない傾向にあるのかと思います。
しかし逆に、これは日本語ユーザーにとって改善の余地があることを意味しており、LM Studioの利用率が拡大していけば、将来的にはより良いサポートが期待できる側面もあるのかとも思います。
なので、これからも新たなアップデートを注視して日本語対応がどのように改善されていくかを見守っていきたいと思います。
最後まで読んでいただき有難うございます。
引き続き応援の程宜しくお願い致します！！
いいなと思ったら応援しよう！
