GPUメモリ削減

書いてみる

関連タグ

#エンドツーエンド推論 (1)
#テンソルコア (2)
#デキュアンティゼーション (1)
#ビット (261)
#モデル (15,568)
#推論 (570)

FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design

Ikemen Mas Kot
8か月前