TriForceアルゴリズム

書いてみる

関連タグ

#TriForce (1)
#データセット (887)
#トークン (4,200)
#モデル (14,813)
#大規模言語モデル (2,556)
#推測的デコーディング (1)

TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding

Ikemen Mas Kot
6か月前