デコーディング遅延

書いてみる

関連タグ

#StreamingLLM (2)
#アテンションシンク (1)
#キャッシュサイズ (2)
#ストリーミング (1,196)
#ストリーミングLLM (1)
#トークン (4,151)

Efficient Streaming Language Models with Attention Sinks

Ikemen Mas Kot
6か月前