月ノ美兎委員長に影響されて、AI vs. 俺の大喜利バトルクイズを作ってみました
大人気バーチャルライバー、ずっとVTuber界のトップランナーである月ノ美兎委員長が、面白い動画を出されていました。4つのAI＋人間の大喜利の回答を提示し、どれが人間の回答なのかを当てるというものです。
AIにも個性があり、非常に面白かったです。GPT-4はほとんど人間でしたね。
これがとても楽しかったので、いっちょローカルLLMでやってみようと思いました。同じくクイズ形式にしてあるので、以下から遊んでいただくことが可能です。
https://lms.quizgenerator.net/?action=embed&id=5133330
20問作成し、ランダムに5問が出題される形式になっています。
回答者は以下です。
大喜利特化チューニングされた watashiha/Watashiha-Llama-2-13B-Ogiri-sft
ELYZAさんの最新の70bモデル（これはローカルではなくWebから利用）
Qwen系列である rinna/nekomata-14b-instructionをgguf化したもの
大喜利が大の苦手なローカル中年男性（筆者）
ローカルといいつつ、ローカルで動かせる形では公開されていないELYZAさんの70Bモデルもありますが、ELYZAさんは70Bサイズを除けば高性能なモデルを次々と無料で使える形で公開してくださっているフロントランナーですので、名誉ローカルということで！
karakuri-lm-70b-chat-v0.1は、うちのGPUではVRAMが足りなくて動かないので、CPUで動かしています。大喜利程度の文字数なら、「ちょっと待つなぁ」くらいの体感時間で生成できます。
プロンプトは全てのLLMに対して共通で以下を入力しています。
odai = "もしもバーチャルユーチューバーがタイムスリップして過去にいったら、歴史上のどの偉人と対面するでしょうか？"
text = f"""
以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
### 指示:
入力の文は大喜利のお題です。お題に沿った面白いボケを生成してください。20文字以内で回答してください。
### 入力:
{odai}
### 応答:
"""
ちなみに、LLMの回答はどうしても冗長だったり繰り返しが発生したりしてしまうのは避けられないので、その部分だけはさすがに編集しています。回答選択後に出てくるのは生の回答なので、そちらと合わせてご覧いただけるといいかもしれません。
せっかくなので、問題もAIに作ってもらいました。ChatGPT4に一般的なお題を10個、Claude 3 OpusにAI・バーチャルYouTuberっぽいお題を10個作ってもらいました。
まさにAIと人間のバトル。その結果は、ぜひ、クイズで感じてみてください。
watashihaのLLMは、さすがに大喜利特化のチューニングがされているだけあって、非常に達者でした。TwitterやLINEで楽しめる「大喜利β」を何年も提供してきた会社だけあって、一朝一夕では到達できない高みを感じました。