RetNet

書いてみる

関連タグ

#RWKV (37)
#transformer (319)
#メモリ (936)
#モデル (14,705)
#Arxivデータセット (1)
#BPTT (2)

気になったのでシュッと RetNet を調べてみた

bbz
1年前

シンプルさと計算効率の間で： Transformerアーキテクチャの強みってなに？

Koboichi
3か月前

Scaling Transformer to 1M tokens and beyond with RMT

Ikemen Mas Kot
6か月前

Retentive Network: A Successor to Transformer for Large Language Models

Ikemen Mas Kot
7か月前