データ並列性

書いてみる

関連タグ

#モデル (13,995)
#A100 (20)
#FLOPs利用率 (1)
#Holmes (60)
#Jaxライブラリ (1)
#LLMトレーニングフレームワーク (1)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
5か月前

Holmes: Towards Distributed Training Across Clusters with Heterogeneous NIC Environment

Ikemen Mas Kot
5か月前