AutoModelForCausalLMのquantization_configに渡すことで量子化する

書いてみる

関連タグ

#GoogleColaboratory (101)
#Lama (28)
#MLX (62)
#MacOS (1,153)
#QLoRA (28)
#マージ (161)

Google ColabでQLoRA したLlama-3をMLXモデル(macOS)へ変換する

masato-ka
9か月前