Google Colab で Stockmark-13B を試す

npaka

2023年10月26日 21:05

「Google Colab」で「Stockmark-13B」を試したので、まとめました。

1. Stockmark-13B

「Stockmark-13B」は、「Stockmark」が開発した「Llama2」ベースの日本語LLMです。ビジネスのドメインや最新情報にも対応しています。

2. Stockmark-13B のモデル

「Stockmark-13B」は、現在1つのモデルが提供されています。

・stockmark/stockmark-13b : ベースモデル

3. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!pip install transformers accelerate bitsandbytes

(2) トークナイザーとモデルの準備。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# トークナイザーとモデルの読み込み
tokenizer = AutoTokenizer.from_pretrained(
    "stockmark/stockmark-13b"
)
model = AutoModelForCausalLM.from_pretrained(
    "stockmark/stockmark-13b", 
    device_map={"": 0}, 
    load_in_8bit=True
)

(3) 推論の実行。
ベースモデルなので、プロンプトの続きの文章を書くように促します。

# プロンプトの準備
prompt = "ぼっち・ざ・ろっく！とは"

# 推論の実行
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=True,
        temperature=0.3
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

ぼっち・ざ・ろっく!とは、はまじあきによる漫画作品である。 pixivで「ぼっち・ざ・ろっく!」のイラストを見る pixivで「ぼっち・ざ・ろっく!」の小説を読む pixivで「ぼっち・ざ・ろっく!」のイラストを投稿する pixivで「ぼっち・ざ・ろっく!」の小説を投稿する「ぼっちちゃん」こと後藤ひとりは、ギターを愛する孤独な少女。家で一人寂しく弾くだけの毎日だったが、ひょんなことから伊地知虹夏が率いる「結束バンド」に加入することに。人前での演奏に不慣れな後藤は、立派なバンドマン