GROK-1がオープンリリース！314Bの大規模言語モデル
GPTsクリエイターのAIMUです。
本日はGPTsの話ではなく、X.AIがついにGROK-1を発表したのでその内容を調べてみました。
We are releasing the base model weights and network architecture of Grok-1, our large language model. Grok-1 is a 314 billion parameter Mixture-of-Experts model trained from scratch by xAI. This is the raw base model checkpoint from the Grok-1 pre-training phase, which concluded in October 2023. This means that the model is not fine-tuned for any specific application, such as dialogue. We are releasing the weights and the architecture under the Apache 2.0 license. To get started with using the model, follow the instructions at github.com/xai-org/grok. Model Details Base model trained on a large amount of text data, not fine-tuned for any particular task. 314B parameter Mixture-of-Experts model with 25% of the weights active on a given token. Trained from scratch by xAI using a custom training stack on top of JAX and Rust in October 2023.
＜日本語訳＞
私たちは、大規模言語モデルであるGrok-1のベースモデルの重みとネットワークアーキテクチャを公開しています。Grok-1は、xAIによってゼロからトレーニングされた3140億パラメータのエキスパートの混合モデルです。
これは、2023年10月に終了したGrok-1の事前トレーニングフェーズからの生のベースモデルチェックポイントです。これは、モデルが対話などの特定のアプリケーションに対してファインチューニングされていないことを意味します。
重みとアーキテクチャはApache 2.0ライセンスの下で公開されます。
モデルの使用を開始するには、github.com/xai-org/grokの指示に従ってください。
モデルの詳細
特定のタスクにファインチューニングされていない、大量のテキストデータでトレーニングされたベースモデル。
あるトークンに対して25%の重みがアクティブになる314Bパラメータのエキスパートの混合モデル。
2023年10月にJAXとRustの上にカスタムトレーニングスタックを使用して、xAIによってゼロからトレーニングされました。
とのことで3140億のパラメータって凄い量ですね。
導入方法については以下のGithubを参照してくださいとのこと。
Grok-1
このリポジトリには、Grok-1のオープンウェイトモデルをロードして実行するためのJAXの例示コードが含まれています。
チェックポイントをダウンロードして、checkpoint内にckpt-0ディレクトリを配置してください。その後、
```
pip install -r requirements.txt
python run.py
```
を実行してコードをテストしてください。
このスクリプトは、チェックポイントをロードし、テスト入力でモデルからサンプルを生成します。
モデルのサイズが大きい（314Bパラメーター）ため、例示コードでモデルをテストするには十分なGPUメモリを備えたマシンが必要です。このリポジトリのMoEレイヤーの実装は効率的ではありません。モデルの正確性を検証するためにカスタムカーネルを必要としないように、この実装が選択されました。
とのことで、ちょっと試してみようと思ってみてみたところ314Bを動かすには十分なGPUメモリを備えたマシンが必要とのこと。
うちのマシンのGPUでは動かなそうな予感。。。
今回はここまでの情報を調べたことの共有です。
またなにかアクション起こしたら情報共有しますね。
ということでまたおAIしましょう！
チャオ！