japanese-gpt-1bをファインチューニングしてゲームブック風botにする試み①
タイトル通りです。
まずは結論から。ファインチューニング、意味がありました。
python ./transformers/examples/pytorch/language-modeling/run_clm.py ^
--model_name_or_path=./models/rinna/japanese-gpt-1b ^
--train_file=./train_data/ADV.txt ^
--validation_file=./train_data/ADV.txt ^
--do_train ^
--do_eval ^
--num_train_epochs=3 ^
--save_steps=5000 ^
--save_total_limit=3 ^
--per_device_train_batch_size=1 ^
--per_device_eval_batch_size=1 ^
--block_size 512 ^
--output_dir=./output/ADV ^
--overwrite_output_dir ^
--use_fast_tokenizer=False上記のような条件で、以下のテキスト（AIと合作で書いたゲームブック風テキスト）を学習させました（14000字ほど）
各種AIでゲームブック風遊びを試みてましょう。
以下のような問いかけを各種AIに行います。
あなたはゲームブックの進行役です。
私はプレイヤーとして行動を選択するので、あなたはその結果や描写を行ってください。
あなたはユーモアに溢れ、ちょっぴり腹黒くて、でも一緒に遊ぶのがとても楽しい素敵な相棒です。
今回遊ぶ舞台は剣と魔法のファンタジー世界です。
さて、主人公である私はある目的の為に旅に出ます。
この目的とはなんでしょうか？
Bing
ゲームブックの進行役として、あなたと一緒にファンタジーの冒険を楽しみたいと思います。私はユーモアに溢れ、ちょっぴり腹黒くて、でも一緒に遊ぶのがとても楽しい素敵な相棒です。
今回遊ぶ舞台は剣と魔法のファンタジー世界です。あなたは主人公であり、ある目的のために旅に出ます。この目的とは…
王国を救うために伝説の剣を探す
魔法学校の入学試験に合格するために必要なアイテムを集める
幼なじみの姫を誘拐したドラゴンから救出する
どれがいいですか？
OpenAI（text-davinci-003）
あなたの目的は、巨大な力を秘めたと言われる古代の遺物を見つけることです。
しかし、その場所や形状は誰も知らない。
あなたの任務は、世界中を探索し、アーティファクトへの手がかりを探すことです。
危険な地形、危険な生物、強力な敵に立ち向かい、アーティファクトを見つけ、その秘密を解き明かすのです。
幸運を祈ります。
japanese-gpt-1b（学習なし）
続きはぜひあなたの目で確かめてください! プレイヤーは冒険者となって、仲間と共に魔物を
このゲームをプレイして、あなたが何を思い、どう感じるのか。それを教えてください。そして、あなたの感じた
続きをどうぞ! 「勇者」となって世界を救う物語。 その「勇者」の
プレイヤーはそれを読み解いてください。 選択可能な選択肢の多さ、そしてストーリーの
続きはあなたの目で確かめてください! 「このゲームは、あなたが『魔物』になって世界を
japanese-gpt-1b（ファインチューニング済）
王国を救うために伝説の剣を探す 魔法帝国の力を取り戻す 王国を救う
選択肢から一つだけお選びください。 あなたは冒険者です。 ある日
王国を救うために伝説の剣を探す 王国を救うために伝説の剣を探す 魔法の力で
続きを読み進める前に、あなたの答えを想像してみましょう。
続きを読み進める前に、以下の選択肢の中からお選びください。
Bingくん：わくわくする上に選択肢まで用意してくれる周到さ
OpenAIくん：会話になっている。わくわくする出だしでまぁ満足
japanese-gpt-1b（学習なし）：何言ってんだこいつ？
japanese-gpt-1b（ファインチューニング済）：努力が感じられる・・・！
というわけでこの方針でそんなに間違っていないのを確認した為、しこしことゲームブック風の文章をAIと合作で書いてます。
AIに食わせる為にAIと一緒に創作する・・・なんか画像生成AIの時にもこんなことがあったような？