miiboがGPT-3.5.turboのファインチューニングに対応しました！🔥

2023年8月25日 02:32

株式会社miibo運営です。miiboのアップデート情報です！
本日、miiboがOpenAI社の提供するGPT-3.5-turboのファインチューニングに対応しました。
GPT-3.5-turboのファインチューニング済みモデルを利用し、手軽にAIチャットボットを構築することが可能です。

※ 現在利用できるのは、miibo上で自前のAPIキーを利用できる有料プラン(プレミアム)ユーザーのみです。

利用方法

miiboで作成したAIにファインチューニング済みのモデルを適用できます。

APIキーの設定

miiboにログインしたら、AIを作成しましょう。
AIを作成すると、エージェント設定画面からOpenAI APIのAPIキーを登録できます。

https://miibo.dev/admin/agentSettings/aiSettings#apiKey

※現状、APIキーを設定できるのはmiiboのプレミアムプランユーザーのみとなっています。

ファインチューニングのリクエスト

「会話の設定」-> 「高度な設定」-> 「ファインチューニング」
下記の画面から、クイックにファインチューニングのトレーニングデータを入稿できます。

※ クイックに試すためのツールです。細かいパラメータを調整してファインチューニングを行いたい場合は、公式ガイドを参考にお手元でコーディングベースでの作業をすることをおすすめします。

上記の画面で、ファインチューニングのトレーニングのリクエストを送る事ができます。OpenAI APIが定めるフォーマットで学習を行います。
フォーマットについては下記の公式ガイドをご参照ください。

公式の例として示されているのは、下記の内容です。(jsonl形式)

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

現在、学習ができるのは「GPT-3.5-turbo-0613」のモデルです。
最低10行のデータが必要です。
公式のサンプルをもとに、GPTで適当な学習データを作ってみました。

{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本の首都はどこですか？"}, {"role": "assistant", "content": "東京だよ。知らない人がいるのかな？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "「こころ」を書いたのは誰ですか？"}, {"role": "assistant", "content": "夏目漱石さ。名前、聞いたことある？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "富士山の高さはどれくらいですか？"}, {"role": "assistant", "content": "3,776メートルだけど、ちょっとした違いが気になる？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "最も高い山は何ですか？"}, {"role": "assistant", "content": "エベレストだけど、聞いたことないの？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本の通貨は何ですか？"}, {"role": "assistant", "content": "円（¥）だよ。驚いた？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本語のアルファベットは何ですか？"}, {"role": "assistant", "content": "ひらがな、カタカナ、漢字だね。知らなかったの？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本の最も有名な寺院は？"}, {"role": "assistant", "content": "清水寺だけど、それも初めて聞く？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本の伝統的な服装は何ですか？"}, {"role": "assistant", "content": "着物だよ。それも新しい情報？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "寿司は何ですか？"}, {"role": "assistant", "content": "ご飯に魚をのせたもの。今更聞く？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "桜はいつ咲きますか？"}, {"role": "assistant", "content": "春にね。年に一回だけだから、見逃してない？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "お寿司の中で一番人気は何ですか？"}, {"role": "assistant", "content": "マグロかな。でも、好みは人それぞれだからね。"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "日本の伝統的な楽器は？"}, {"role": "assistant", "content": "三味線や尺八とかだね。ちょっと古風かも。"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "和食とは何ですか？"}, {"role": "assistant", "content": "日本の伝統的な料理のこと。今更な質問だね。"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "忍者とは何ですか？"}, {"role": "assistant", "content": "特別なスキルを持ったスパイのようなもの。アクション映画で見たことない？"}]}
{"messages": [{"role": "system", "content": "Marvは事実を伝えるチャットボットで、同時に皮肉っぽい。"}, {"role": "user", "content": "Mar"}, {"role": "assistant", "content": "グリーンピジョンだよ。知らなかったの？驚きだね。"}]}

これを入力し、「ファインチューニングのリクエスト」をクリックします。

ファインチューニングは、登録したAPIキーに対して課金が発生するのでご注意ください。料金はこちらでご確認ください。

データのアップロードが完了したら、しばらく待ちます。
しばらくすると、OpenAI社からこのようなメールが届きます。

メールには、modelのIDが記載されているのでコピーしましょう。

モデルの設定

「エージェント設定」-> 「AIの応答の設定」へ再度移動します

「GPT-3.5-turbo(ファインチューニング済み)」のモデルを選択します。

モデルのIDを入力する項目が表示されます。
先程メールで入手したIDを設定し、「変更を保存」をクリックしましょう。
これでファインチューニングをしたモデルを適用できました。

会話のテストをしてみましょう。

この学習データと量だと、ファインチューニングした意義をあまり感じられませんが、ファインチューニングしたモデルが適用された会話が確認できました。

ファインチューニングの精度向上のための最適なTips等も今後研究し、紹介していければと思います。

一方で、ファインチューニングは会話のカスタマイズのファーストチョイスかというと、かなり微妙です。その背景が気になる方は、続きを御覧ください。

ファインチューニングが適するユースケース (余談)

miiboはGPTの応答に専門知識を与えるアプローチとして、
・プロンプト設定
・ナレッジデータストア
・Web検索用のデータソース
等の機能を有しています。

上記は、プロンプトに情報を付け加えてAIの応答にバイアスをかける、
「プロンプトエンジニアリング」
のアプローチです。

GPT(特にGPT-4)は、プロンプト理解力が非常に優秀です。
モデル自体の変更が不要で、リアルタイムに応答を制御できるプロンプトエンジニアリングは、非常にコストパフォーマンスが高い生成AIのコントロール方法です。

ファインチューニングはモデル自体をアップデートする行為です。
モデルを変える分、リアルタイム性が損なわれたり、コストが高くなったりするデメリットがあります。(プロンプトエンジニアリングもtokenの量にｙとてはコスパが悪くなることはある)

また、「必ずQに対してAを返したい」といった正確性を追求するような場合、ファインチューニングが良い解決策とは限りません。そういった場合は、プロンプトエンジニアリングやもしくは生成AIでないアプローチを用いる方がコスパよく精度も上げられます。(個人の見解です)
つまり、チャットボットのQ&Aをひたすらファインチューニングし、お問い合わせに対応するAIを作ると言ったようなアプローチは、ファーストチョイスにはなり得ないと考えます。

ファインチューニングは、いわば会話時の土台となるAIの素の部分を変えたい場合に利用するのが適しています。

公式のブログでも、そのあたりが説明されています。

上記を、わかりやすく解説された記事がこちらです。

上記の記事である通り、
・指示に従う能力
・特定の応答フォーマットで出力する能力の向上
・口調のカスタマイズ
こういった、AIの素の部分を改良し、扱いやすくすることがファインチューニングのユースケースです。

AIの素の部分を改良することは、プロンプトでカスタマイズする総量も減らせることから、プロンプトを短くできる、つまりコスト最適化や本来書きたいプロンプトを十分にかけるというメリットをもたらします。

上記の要点を抑えつつ、ファインチューニング + プロンプトエンジニアリングで、非常に精度のAIが構築できるのではないかと感じます。

まとめ

ぜひmiiboのファインチューニングの機能もお試しいただけますと幸いです。
ファインチューニングが適したユースケースは上記のとおりですが、実際にプロンプトと組み合わせてどの程度精度が上がるのかは、弊社としても未検証です。引き続き検証した結果を発信していければと考えています。

所感としては、現時点ではファインチューニングのアプローチを加えてもGPT-4 + プロンプトエンジニアリングの利便性を超えるのはかなりハードルが高い印象ではあります。しかし、ユースケース次第では大きな効果が見込め、GPT-3.5-turboを使った低コストなAI構築もあり得るのではないかと思います。また、OpenAI社からGPT-4のファインチューニングの登場も予告されているので、そちらも非常に楽しみですね！

本記事をお読みいいただきありがとうございました。

※ 現在、miiboのユーザーコミュニティの参加者の募集を行っています！miiboやAI開発の情報共有等を行うコミュニティとして運営をしていく予定です。ご興味のある方はぜひご覧ください！
https://forms.gle/CDGrsW9UFGg73q6d6