Google Colab で Tanuki-8x8B を試す

npaka

2024年8月30日 17:26

「Google Colab」で「Tanuki-8x8B」を試したのでまとめました。

【注意】Google Colab Pro/Pro+のA100で動作確認しています。

1. Tanuki-8x8B

「Tanuki-8x8B」は、経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が開発・公開した日本語LLMです。

フルスクラッチで開発されたモデルで、Apache License 2.0に基づき、研究および商業目的での自由な利用が可能です。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。
推論方法はいくつかありますが、最推奨のvLLMはビルドに時間がかかるので、推奨のTransformersかつ少メモリでうごくAWQを使います。

# パッケージのインストール
!pip install -U transformers accelerate bitsandbytes
!pip install flash_attn --no-build-isolation
!pip install autoawq

(2) バージョンを整える。
Colabでは上記コマンドのみでは実行時にエラーになったので、バージョンを整えます。

# バージョンを整える
!pip install pyarrow==14.0.1
!pip install torch==2.4.0 torchvision==0.19.0+cu121 torchaudio==2.4.0+cu121

(3) メニュー「ランタイム→セッションを再起動」で再起動。

(4) モデルとトークナイザーとストリーマーの準備。

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

# モデルとトークナイザーとストリーマーの準備
model_name = "team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(
    model_name
)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

(5) 推論の実行。

# メッセージの準備
messages = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"}, 
    {"role": "user", "content": "まどか☆マギカでは誰が一番かわいい?"}
]

# 推論の実行
input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)
output_ids = model.generate(
    input_ids,
    max_new_tokens=512,
    temperature=0.5,
    streamer=streamer
)

「魔法少女まどか☆マギカ」は、その深いストーリーとキャラクター描写で多くのファンを魅了しています。

この作品には多くの魅力的なキャラクターがいますが、誰が一番かわいいかという質問は主観的なものであり、人それぞれの好みによって異なるでしょう。以下にいくつかのキャラクターを紹介します：

1. 鹿目まどか:
　- まどかは物語の主人公であり、その純粋で優しい性格が多くのファンに愛されています。彼女の成長と自己犠牲の精神は、多くの人々の心を打ちます。

2. 暁美ほむら:
　- ほむらはまどかの親友であり、彼女を守るために何度も時間を繰り返すという複雑なキャラクターです。彼女の強さと決意、そして時折見せる優しさが魅力的です。

3. 美樹さやか:
　- さやかは明るく元気なキャラクターで、友情や恋愛に対する情熱が彼女の魅力の一部です。しかし、彼女の行動には悲劇的な側面もあり、それがさらに彼女の魅力を引き立てています。

4. 巴マミ:
　- マミはベテランの魔法少女で、その優雅さと知識が彼女の魅力の一つです。彼女の戦闘シーンや他のキャラクターとの関係性も注目に値します。

5. 佐倉杏子:
　- 杏子は自由奔放で、時には冷酷な一面も持つキャラクターです。彼女の独立心と強い意志は、他のキャラクターとは異なる魅力を持っています。

どのキャラクターが「一番かわいい」かは、あなた自身の価値観や好みによるものです。それぞれのキャラクターが持つ独自の魅力を楽しんでください。

Google Colab で Tanuki-8x8B を試す

1. Tanuki-8x8B

2. Colabでの実行

関連