データ並列性

書いてみる

関連タグ

#モデル (16,168)
#A100 (20)
#FLOPs利用率 (1)
#Holmes (60)
#Jaxライブラリ (2)
#LLMトレーニングフレームワーク (1)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
9か月前

Holmes: Towards Distributed Training Across Clusters with Heterogeneous NIC Environment

Ikemen Mas Kot
9か月前