LLMの-Q3_K_Lとかの名前の意味
LMStudioに色んなモデルをダウンロードして遊んでいるのだが、ダウンロードするモデルの名前が長くてよくわからない。
Llama-3-ELYZA-JP-8B-Q3_K_L.gguf
みたいなやつ。
Perplexityに聞いてみたら
"Q" または "IQ" は量子化の種類を示します。
数字(例:4、5)はビット数を示します。
"K" はK-quants(新しい量子化方式)を示します。
"S"、"M"、"L" はサイズ(Small、Medium、Large)を示します。
とのこと。
M2Mac miniを使っているので、これで今後はより小さくて有効そうなモデルを選べそう。今まではサイズで入りそうなのを闇雲に選んでた。
この記事が気に入ったらサポートをしてみませんか?