Gemmaを実行するためのGoogle Colaboratoryノートブック
gemma-7b-itを動かすノートブックです。
基本npakaさんの下記エントリー参照に、プロンプト以外は記述内容ほぼそのままですが[Open in Colab]ボタンを押せばすぐ開けますよ。
というメリットから掲載しておきます。
Google Colab の
ランタイムタイプの変更 -> T4 GPU
を選択。
Google Colabの無料版でも動作しました。
モデルカードのページを開き、HuggingFaceにログインし、「Acknowledge license」ボタンを押して、ライセンスを認証
左端の鍵アイコンで「HF_TOKEN」(HuggingFaceのトークン)を設定
の２つの作業が実行には必要です。
コチラの下記エントリーを参照してください。
HF_TOKENを設定しないで実行した場合は、トークナイザーとモデルの準備でエラーがでます。
Google Colabの
ランタイム -> セッションの管理
から一度実行しているセッションを削除してサイド実行してください。