RetNet

書いてみる

関連タグ

#RWKV (37)
#transformer (362)
#メモリ (1,053)
#モデル (16,488)
#Arxivデータセット (1)
#BPTT (2)

Retentive Network: A Successor to Transformer for Large Language Models

Ikemen Mas Kot
9か月前

気になったのでシュッと RetNet を調べてみた

bbz
1年前

シンプルさと計算効率の間で： Transformerアーキテクチャの強みってなに？

Koboichi
5か月前

Scaling Transformer to 1M tokens and beyond with RMT

Ikemen Mas Kot
8か月前