All You Need ( ゚д゚)
All You Need ( ゚д゚)
All You Need ( ゚д゚)
いい響きでございます。
ついつい論文読んでしまいましてよ。
Microsoft Research さんのでござるな( ・ω・)
まぁ詳細な話はご自身で論文読んでもろて。
シュッと概要だけ書き残していきますかな。
簡潔にまとめてしまうと。
教科書のような高品質なデータで学習しーの
いい感じのデータで fine-tune したらトークン(学習データ量)少なくても強くなーる
ってな感じでござるな( ・ω・)
汎化性能でいうとちょいとまだ厳しい感じであるけれども。
特定のタスクを解くという文脈においては有効そうでござるなぁ。
こういうモデルでアンサンブルしたらいいのじゃろうかのぉ?( ・ω・)
まぁデータセット作るのが大変すぎるので個人で取り組むのは無理ですなぁ。
最後に ChatGPT 氏にアゲアゲでまとめてもらうぞい☆
(内容は概ねあっている)
シュッとみたのでおしまい。