Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B

「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠しています。

・rinna/gemma-2-baku-2b
・rinna/gemma-2-baku-2b-it

Gemma 2の日本語継続事前学習モデル「Gemma 2 Baku 2B」シリーズを公開｜rinna株式会社

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。

# パッケージのインストール
!pip install transformers accelerate

(2) トークナイザーとモデルの準備。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
    "rinna/gemma-2-baku-2b-it"
)
model = AutoModelForCausalLM.from_pretrained(
    "rinna/gemma-2-baku-2b-it",
    device_map="cuda",
    torch_dtype=torch.bfloat16,
    attn_implementation="eager",
)

(3) 推論の実行。

# メッセージの準備
chat = [
    { "role": "user", "content": "まどか☆マギカでは誰が一番かわいい?" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

# 推論の実行
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
outputs = model.generate(
    input_ids,
    max_new_tokens=512,
)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

まどか☆マギカは魅力的なキャラクターがたくさん登場する作品なので、誰が一番かわいいかは人によって意見が分かれるところですね！

人気が高いキャラクターとしては、

* **まどか**：主人公であり、純粋で優しい性格が魅力的。魔法少女としての能力も高く、そのギャップが多くのファンを惹きつけています。
* **さやか**：クールで少しミステリアスな性格ですが、実はとても優しい一面も持っています。また、魔法少女としての能力も高く、まどかに対するライバル意識も感じられます。
* **杏子**：元気で明るい性格で、魔法少女としての能力も高いですが、少し抜けているところもあります。そのギャップが可愛らしく、ファンも多いです。

他にも、それぞれのキャラクターに魅力的な個性があり、どのキャラクターも「かわいい」と感じる要素を持っています。

最終的には、あなたの好みによって一番かわいいキャラクターが決まると思います。

Google Gemini 1.5／LlamaIndex／LangChain 人工知能プログラミング実践入門