データ並列性

書いてみる

関連タグ

#モデル (17,053)
#A100 (24)
#FLOPs利用率 (1)
#Holmes (60)
#Jaxライブラリ (2)
#LLMトレーニングフレームワーク (1)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
9か月前

Holmes: Towards Distributed Training Across Clusters with Heterogeneous NIC Environment

Ikemen Mas Kot
10か月前