Aurora-M: The First Open Source Multilingual Language Model Red-teamed according to the U.S. Executive Order
下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。
1 本研究について、先行研究と比較しながら詳しく説明してください。
本研究は、AURORA-Mという新しいオープンソースの多言語大規模言語モデル（LLM）について述べた論文です。この研究では、先行研究の制約に対処するために、AURORA-Mが開発されました。AURORA-Mは、英語、フィンランド語、ヒンディー語、日本語、ベトナム語、およびコードという6つの言語に対応しています。AURORA-Mは、StarCoderPlusモデル（Li et al.、2023a）に基づいて、4350億トークンからなる広範なデータセットで継続的に事前学習されており、合計で2兆トークンのトレーニングトークンがあります。この厳格な事前学習により、AURORA-Mは多様な言語とコードの包括的な理解力を備えています。さらに、AURORA-Mは安全性を基本的な設計原則としています。AURORA-Mは、バイデン・ハリス大統領のAIの安全な開発と使用に関する行政命令（WhiteHouse、2023年）で示された具体的な安全性とセキュリティのガイドラインに沿って、人間によってレビューされた安全性の指示を含む包括的なコレクションで微調整された最初のオープンソースの多言語LLMとして注目されています。
2 本研究の目的について、詳しく説明してください。
本研究の目的は、AURORA-Mの効果を包括的に評価することです。さまざまなドメインと言語にわたるタスクのスペクトラムでAURORA-Mの能力を評価しました。評価では、AURORA-Mが新しい機能を獲得しながら以前に学習した知識を保持する能力を測定することを目指しました。また、AURORA-Mを最先端の多言語モデルと比較し、その競争力のあるパフォーマンスを示しました。さらに、AURORA-Mの望ましくないまたは潜在的に不正なコンテンツを生成する傾向を検証するために安全性の評価も行いました。これらの評価の結果、AURORA-Mは安全性に対する取り組みと責任あるAIの開発プラクティスへの遵守を確認しました。
3 本研究で用いたデータについて、名前や利用可否など、詳しく説明してください。
本研究では、AURORA-Mのトレーニングに使用されたデータについて詳細な説明があります。まず、Continual Auxiliary Pretraining（CAP）とContinual Alignment Tuning（CAT）の2つのステージからなるトレーニングカリキュラムが使用されました。CAPでは、Stack、RefinedWeb、RedPajama、Pileの一部など、さまざまなソースからの3770億トークンの一般的な多言語ウェブデータが使用されました。さらに、HPLT、MC4、Paracrawl、OSCAR、Wikipediaなどの多言語データ、OpenAssistant、APIBench、OIGなどのインストラクションチューニングデータも含まれています。CATでは、コードの割合を増やし、高品質な公開インストラクションデータを使用しました。また、新しい安全性のインストラクションデータセットであるBiden-Harris Redteamも使用しました。CAPのデータセットサイズは3770億トークンであり、CATのデータセットサイズは58億トークンです。
4 本研究で用いた手法について、詳しく説明してください。
本研究では、AURORA-Mのトレーニングにおいて、Continual Auxiliary Pretraining（CAP）とContinual Alignment Tuning（CAT）という2つのステージからなる手法が使用されました。CAPでは、一般的な多言語ウェブデータを使用してモデルを多様なデータにさらし、堅牢な基盤を築きました。CATでは、戦略的なデータミキシング手法を用いて、モデルの特定の領域でのパフォーマンスを向上させ、事前に定義された目標と一致させました。CAPおよびCATの両方のトレーニングステージで、公開のインストラクションチューニングデータも使用されました。また、データのフィルタリングも行われ、有害なコンテンツや低品質なテキストを取り除くためのフィルターが適用されました。
5 本研究で何が明らかになったか、詳しく説明してください。
本研究の評価により、AURORA-Mの効果が明らかになりました。AURORA-Mは、英語とコーディングのタスクにおいて、以前に学習した知識を保持する能力を持ちつつ、致命的な忘却を回避することに成功しました。さらに、最先端の多言語モデルと比較して、AURORA-Mは競争力のあるパフォーマンスを示しました。また、安全性の評価も行われ、AURORA-Mが望ましくないまたは潜在的に不正なコンテンツを生成する傾向を持たないことが確認されました。これらの結果は、AURORA-Mが安全性に対する取り組みと責任あるAIの開発プラクティスに従っていることを示しています。