ロータリーポジションエンベディング

書いてみる

関連タグ

#rope (19)
#コンテキスト (336)
#コンテキストウィンドウ (9)
#トランスフォーマーモデル (56)
#ファインチューニング (320)
#ベース (12,530)
#モデル (14,122)

Scaling Laws of RoPE-based Extrapolation

Ikemen Mas Kot
5か月前