スライディングウィンドウ

書いてみる

関連タグ

#モデル (16,529)
#LLaMAモデル (2)
#アクティベーションビーコン (1)
#コンテキスト (381)
#タスク (8,837)
#データセット (925)

Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon

Ikemen Mas Kot
9か月前

Simple linear attention language models balance the recall-throughput tradeoff

Ikemen Mas Kot
9か月前