DeepSpeed Chat by Docker

Hodaka

導入手順

  1. Ubuntu 18.04または20.04をインストールします。

  2. NVIDIA GPUドライバをインストールします。

  3. NVIDIA Dockerをインストールします。

  4. Dockerイメージをビルドします。

  5. Dockerコンテナを起動します。

以下に、各手順の詳細を説明する。

  1. Ubuntu 18.04または20.04をインストールする

    • Ubuntu 18.04または20.04のISOファイルをダウンロードし、USBドライブに書き込みます。

    • USBドライブから起動し、Ubuntuをインストールします。

  2. NVIDIA GPUドライバをインストールする

    • NVIDIAのWebサイトから、NVIDIA GPUドライバの最新バージョンをダウンロードします。

    • ダウンロードしたファイルを実行し、NVIDIA GPUドライバをインストールします。

  3. NVIDIA Dockerをインストールする

    • NVIDIA DockerのGitHubリポジトリから、NVIDIA Dockerの最新バージョンをダウンロードします。

    • ダウンロードしたファイルを実行し、NVIDIA Dockerをインストールします。

  4. Dockerイメージをビルドする

    • DeepSpeed ChatのDockerfileが含まれるGitHubリポジトリから、Dockerfileをダウンロードします。コマンドライン、

    • docker build -t deepspeed-chat .

  5. Dockerコンテナを起動する。

    • docker run --gpus all --rm -it deepspeed-chat

DeepSpeedChat対応モデル

2023.4.16 時点のDeepSpeedChat対応モデル。

  1. facebook-opt

  2. bloom

  3. gpt_neox

  4. gpt2

  5. codegen

現時点での今後の強化項目

  1. LLaMA モデル対応

  2. ZeRO-offload対応

  3. DeepSpeed-RLHFの汎用化とRLalgorithm関連強化

  4. 自動システム最適化

感想

Installで何度も躓き、動くまでにかなりの根気が必要だった。つまずいた点をいくつか下記に示す。

  1. Dockerfile 指定のubuntuが18であり、様々なライブライが未対応。結局、ubuntu20.04LTSに置き換えた。

  2. python module not found が出たものについては、Dockerfileにpip install xxを追加。packages等

  3. proxy 設定と ssl certificate 対応。Firewall配下だと仕方ない。

  4. git-lfsが必要で、apt でインストール。repository のDockefileに追加。

  5. 対応モデルが少なく、手元にあったモデルは未対応だった。小さめのopt-125mで動作確認。

動作確認をopt-125mで実施した。How are you? 程度ならI'm fine. と答えてくれるが、それ以上は難しい。もう少し大きめのモデルを使わないと厳しい。

最後に

お試しマシンのGPUが古く、速度的な評価はできないが、OPT125Mであれば、ほぼ問題ない時間で返事が返ってくる。雰囲気的には、出力が始まるのは1秒未満。モデルサイズとGPUにより反応速度が変わるため、OPT66B +DGX/H100x8辺りで試してみたい。簡単には借りられないが。

以上

いいなと思ったら応援しよう！