ストリーミングLLM

書いてみる

関連タグ

#StreamingLLM (2)
#アテンションシンク (1)
#キャッシュサイズ (2)
#ストリーミング (1,196)
#デコーディング遅延 (1)
#トークン (4,151)

Efficient Streaming Language Models with Attention Sinks

Ikemen Mas Kot
6か月前