GPU最適化

書いてみる

関連タグ

#INT8 (2)
#モデル (13,796)
#モデル圧縮 (7)
#効率的 (1,393)
#効率的サービング (1)
#向上 (3,764)

QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Ikemen Mas Kot
4か月前