PagedAttention

書いてみる

関連タグ

#FlashAttention (7)
#GPU仮想メモリ (1)
#LLM推論 (2)
#vAttention (1)
#カーネル (213)
#パフォーマンス最適化 (22)

vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention

Ikemen Mas Kot
9か月前