ロータリーポジションエンベディング

書いてみる

関連タグ

#rope (28)
#コンテキスト (383)
#コンテキストウィンドウ (12)
#トランスフォーマーモデル (57)
#ファインチューニング (393)
#ベース (14,179)
#モデル (16,844)

Scaling Laws of RoPE-based Extrapolation

Ikemen Mas Kot
9か月前