多トークン予測

書いてみる

関連タグ

#KLダイバージェンス (11)
#L2正則化 (8)
#アダムオプティマイザー (2)
#ウォームアップ (212)
#エントロピー (789)
#クロスエントロピー (5)
#コサイン減衰 (1)

Better & Faster Large Language Models via Multi-token Prediction

Ikemen Mas Kot
6か月前