メモリ効率の良いトランスフォーマー

書いてみる

関連タグ

#A100 (20)
#FLOPs利用率 (1)
#Jaxライブラリ (1)
#TPUv4 (1)
#コンテキスト (341)
#コンテキストサイズスケーリング (1)
#データ並列性 (2)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
6か月前