「Google Colab」で「Phi-3.5-mini-instruct」を試したのでまとめました。
1. Phi-3.5-mini-instruct
「Phi-3.5-mini」は、「Phi-3」に使用されるデータセットで構築された軽量で最先端のオープンモデルです。128Kトークンのコンテキスト長をサポートします。
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) パッケージのインストール。
!pip install transformers==4.43.0 accelerate==0.31.0 flash_attn==2.5.8
(2) モデルとトークナイザーとパイプラインの準備。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
model = AutoModelForCausalLM.from_pretrained(
"microsoft/Phi-3.5-mini-instruct",
device_map="cuda",
torch_dtype="auto",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
"microsoft/Phi-3.5-mini-instruct"
)
pipe = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
)
(3) 推論の実行。
messages = [
{"role": "user", "content": "まどか☆マギカでは誰が一番かわいい?"},
]
generation_args = {
"max_new_tokens": 500,
"return_full_text": False,
"temperature": 0.0,
"do_sample": False,
}
output = pipe(messages, **generation_args)
print(output[0]['generated_text'])
(4) 英語でも推論
messages = [
{"role": "user", "content": "Who is the cutest in Madoka Magica?"},
]
generation_args = {
"max_new_tokens": 500,
"return_full_text": False,
"temperature": 0.0,
"do_sample": False,
}
output = pipe(messages, **generation_args)
print(output[0]['generated_text'])
関連