AWQ

書いてみる

関連タグ

#LLM (7,389)
#transformers (217)
#量子化 (115)
#AI (343,208)
#AIアイネス (8)
#AutoAWQ (1)

色々なライブラリでLLMを量子化してみる

sharp_engineer
7か月前

キャリブレーションデータにもっと気を配ろうの話

Sakusakumura
1年前

WSL2でMixtral 8x7B Instruct with AWQ & Flash Attention 2を試してみる

noguchi-shoji
1年前