FLOPs利用率

書いてみる

関連タグ

#A100 (20)
#Jaxライブラリ (2)
#TPUv4 (1)
#コンテキスト (370)
#コンテキストサイズスケーリング (1)
#データ並列性 (2)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
9か月前