DISTFLASHATTN

書いてみる

関連タグ

#メモリ (935)
#本研究 (570)
#比較 (9,427)
#高速化 (297)

DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training

Ikemen Mas Kot
7か月前