INT8

書いてみる

関連タグ

#大規模言語モデル (2,850)
#ChatGPT (105,877)
#ChatRWKV (4)
#GPU最適化 (2)
#LLM (7,542)
#モデル (16,529)

QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Ikemen Mas Kot
9か月前

大規模言語モデルRWKVをローカルPCで試す

Ko Onuma
1年前