【ミーア】ChatGPTのFine-tuningを使って鹿児島弁を話すチャットボット開発①
ChatGPT4は、方言にどこまで特化しているか？
ChatGPT4のデフォルトモデル(2023年11月26日時点）で、すでに方言をどこまで対応しているかをまずは検証。今回は私の出身地の鹿児島弁で。
うーん、全然合ってない。ちなみに正解は
暑いとダレるよね
その日は忙しいから無理だがよー
え、もうこんな時間け？
田中んげーのラーメン食べにいかんならね
他にも試してみる。次は下記の例文
要改善ですね
ちなみに正解は
頭がやんかぶっちょいが！
何度も何度もやぜろしか！
そんなことしてると、がらるっど
ラーフル
というわけで、鹿児島弁に対応するには、さらに鹿児島弁を特化型で学習させる必要がある。
いくつかの方言特化アプローチ
『ChatGPTのAPIを使って、方言の応答ができるようなチャットボットを作りたいです。どのような方法が最適でしょうか？finetuningなどいくつか候補を列挙してください』
とChatGPTに聞いたところ、いくつか方法を列挙してくれた（下記は一部）
Fine-Tuning
OpenAIが提供するFine-Tuning機能を使用して、特定の方言に特化したモデルをトレーニングします。これには、対象となる方言で書かれた大量のテキストデータが必要です。
Fine-Tuningでは、モデルに方言の特徴を学習させ、方言での応答を生成する能力を高めます。
ポストプロセッシング
モデルからの応答を受け取った後、別のプログラム（例えば、ルールベースの文字列置換や別の小規模な言語モデル）を使用して標準的な日本語を方言に変換します
続きはこちらで記載しています。
いいなと思ったら応援しよう！
