わずか1.3GB程度のLlama-3.2-1Bモデルを試して驚いた。

LMStudioのバージョンアップをしていて、モデルを眺めていたら、Llama-3.2-1Bがありましたので試してみます。

正式名称は、「Llama-3.2-1B-Instruct-Q8_0-GGUF/llama-3.2-1b-instruct-q8_0.gguf」となります。

今回は、LMStudioで試してみました。LMStudioの使い方はこちらをどうぞ。

最初は、英語で自己紹介を依頼しました。

きっちりと回答しています。次に、日本語でも会話できますかと聞いてみます。

日本語もできるのですね。次に、日本の総理大臣は今は誰ですかと聞いてみます。

菅野洋平とは誰か気になりますね。正確な学習が出来なかったのでしょうかね。でも、1B程度のパラメータでは十分な気がします。

次は、翻訳はどうなのかと試してみます。HuggingFaceのLlama-3.2-1Bのページからモデル説明を持ってきたので和訳してもらいます。

和訳を依頼しましたが、完璧な和訳というわけではないです。1B程度ならしょうがないかなという気がします。

次に、要約タスクに最適化されているということなので、要約を依頼してみます。

和訳時に依頼した文章を要約を頼みましたら、和訳よりはしっかりした文章に要約されています。

次に、単純な数学を試してみます。

普通に回答できます。

次に、コードの能力を見てみます。素数を求めるプログラムを書いてもらいます。

コードは実行していませんが、ChatGPTに説明してもらうと素数を実行するコードだということです。

所感として、1.3GB程度のサイズのLLMでここまで出来るのは凄いです。また、軽量ということもあり手軽にPCに読み込むこともできるし、生成スピードも速いので使いやすいです。