【論文瞬読】大規模言語モデルの秘密を解き明かす：事前学習と微調整の意外な関係

こんにちは！株式会社AI Nestです。今回は、大規模言語モデル（LLM）の訓練過程に新たな光を当てる画期的な研究について、詳しくお話ししていきます。みなさんは、ChatGPTのような凄腕AI、どうやって作られているか考えたことありますか？実は、その裏側にはまだまだ謎が多いんです。今回紹介する研究は、そんなAIの学習プロセスの秘密に迫る、ワクワクする内容なんです！

タイトル：Amuro & Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
URL：https://arxiv.org/abs/2408.06663
所属：Johns Hopkins University Baltimore, MD USA
著者：Kaiser Sun、Mark Dredze

1. 研究の概要：AIの成長過程を丸裸に！

この研究、一言で言うと「AIの成長日記を覗き見た」ようなものです。具体的には、OLMo-1Bという1Bパラメータ（10億個のパラメータ）を持つ言語モデルを使って、AIが賢くなっていく過程を細かく観察しました。

Figure1, 実験スキームの図解

図1は、この研究のアプローチを視覚的に示しています。通常、AIの訓練は大きく分けて2段階あります：

1. 事前学習：大量のテキストデータを読み込んで、言語の基礎を学ぶ段階

2. 微調整：特定のタスクに特化させるために、さらに訓練を行う段階

これまで、この2つの段階は別々に研究されることが多かったんです。でも、この研究ではこの2つの関係性に注目しました。言わば、AIの「幼少期」と「専門学校時代」の関係を調べたようなものですね。

2. 驚きの発見：見えない成長があった！

研究チームが行ったのは、事前学習の途中経過（チェックポイント）ごとに微調整を行い、その効果を測定するという斬新な方法です。その結果、面白いことがわかりました。

2.1 タスクによって学習パターンが違う

研究では、AIに様々なタスクを与えて評価しました。すると、タスクは大きく2つのグループに分かれたんです。

Figure2,異なる事前学習ステップにおける少数サンプルでの性能。

1. 事前学習だけでマスターできるタスク（図2a）

2. 事前学習では上達せず、微調整が必要なタスク（図2b）

例えば、図2aのHellaswagというタスクは事前学習だけでどんどん成績が上がっていきました。一方、図2bのMNLI（自然言語推論）のようなタスクは、事前学習だけではさっぱり上達しなかったんです。

2.2 隠れた才能が開花！

ここからが面白い。事前学習では成績が上がらなかったタスクも、微調整を行うと急激に成績が向上したんです。

Figure3, 微調整の恩恵を受けたモデル(3a)と受けなかったモデル(3b)の異なる事前トレーニング段階における少数のショットのパフォーマンスの例。青の実線は微調整済みのチェックポイント、オレンジの破線はベースチェックポイントを表す。すべてのデータセットの結果は、図9と図8に示されている。

図3は、MNLIタスクの結果を示しています。青い線（Fine-Tuned）が微調整後の性能、オレンジの線（BASE）が微調整前の性能です。事前学習だけでは性能が上がらなかったMNLIですが、微調整を行うと大幅に性能が向上しているのがわかります。

しかも、事前学習が進むほど、微調整後の成績が良くなる傾向がありました。

Figure4, 事前学習でモデルが解くことができるタスク(マンダリンオレンジ)と、微調整まで解くことができなかったタスク(セージグリーン)の間の微調整によるパフォーマンス向上量。平均増加数の正確な数値は付録Gに示されています。

図4は、事前学習中に学習されたタスク（オレンジ）と学習されなかったタスク（緑）の、微調整による性能向上の差を示しています。事前学習で学習されなかったタスクの方が、微調整による性能向上が大きいことがわかります。

つまり、事前学習中、AIは目に見える形では上達していなくても、「潜在的な能力」を着実に身につけていたということです。まるで、勉強嫌いの子供が気づかないうちに頭が良くなっているようなものですね。

3. AIの記憶力と忘却：諸刃の剣

研究チームは、微調整の過程でAIが何を学び、何を忘れるのかも調べました。結果は興味深いものでした。

3.1 タスクの「型」を学ぶ

微調整を通じて、AIはタスクの「型」（フォーマット）を学習します。例えば、「質問に答える」というタスクの場合、質問文の後にどのように回答を続けるべきかを学びます。

Figure5, 異なるタスク形式におけるモデルのパフォーマンスの例。すべてのデータセットの数値は、図13を参照。

図5は、異なるタスク形式での性能を示しています。特に（a）MNLI matchedと（d）SocialIQaのグラフを見ると、事前学習が進むほど（右に行くほど）、異なる形式（Default、Instruct、IO）での性能差が小さくなっていることがわかります。つまり、AIはより柔軟に異なる「型」に対応できるようになったということです。

3.2 忘却の危険性

ここで注意が必要なのが「忘却」です。特定のタスクに特化した微調整を行うと、他のタスクの能力が低下することがあるんです。例えば、文章生成タスクで微調整すると、分類タスクの能力が落ちてしまうことがありました。

これは、人間で言えば「専門バカ」になってしまうようなものです。汎用AIを目指す上で、この「忘却」は大きな課題となりそうです。

4. この研究が示唆すること：AIトレーニングの未来

さて、ここまでの発見は、今後のAI開発にどんな影響を与えるでしょうか？

4.1 効率的なトレーニング戦略

一つの示唆は、事前学習を「早めに切り上げる」可能性です。ある程度事前学習を行えば、後は微調整で十分な性能が得られる可能性があります。これは、計算資源の有効活用につながるかもしれません。

4.2 汎用性と特殊性のバランス

また、微調整による「忘却」の問題は、汎用AIと特化型AIのバランスを考える上で重要です。将来的には、「忘却」を防ぎつつ特定タスクの性能を上げる技術が求められるでしょう。

4.3 AIの能力を正しく評価する

この研究は、AIの能力を正しく評価することの難しさも示しています。事前学習中の評価だけでは、AIの真の潜在能力を見誤る可能性があるのです。今後、より多角的な評価方法の開発が必要になりそうです。

Table1, データセット情報。生成タスクでは、評価基準としてROUGE-Lが使用され、分類タスクでは精度が使用されます。

表1は、この研究で使用された多様なデータセットを示しています。これだけ多様なタスクと評価方法を用いることで、AIの能力をより正確に把握することができるのです。

5. まとめ：AIの学習、まだまだ奥が深い！

今回の研究は、大規模言語モデルの学習過程に新たな洞察を与えてくれました。AIが「見えない成長」をしていること、そして事前学習と微調整の複雑な関係性が明らかになりました。

この研究はまだ始まりに過ぎません。今後、より大規模なモデルでの検証や、異なるタスク・データセットでの実験など、さらなる研究が期待されます。

AIの学習プロセス、まだまだ謎が多いですが、こういった研究の積み重ねで、少しずつその秘密が明らかになっていくんですね。今後のAI研究、目が離せません！

みなさんは、この研究を聞いてどう思いましたか？AIの学習過程、人間の学習とどこか似ているような気がしませんか？コメント欄で皆さんの感想をお待ちしています！

それでは、次回のブログでまたお会いしましょう。AIの世界、まだまだ面白いことがいっぱいです！