1F1B

書いてみる

関連タグ

#Seq1F1B (1)
#シーケンス (141)
#シーケンスパーティショニング (1)
#トランスフォーマー (1,351)
#トレーニング (63,905)
#パイプライン (316)

Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training

Ikemen Mas Kot
8か月前