「SaaS界隈のネタ」をもとに、生成AIでクイズを作ってみた

2024年5月22日 13:09

こんにちは、マネーフォワードｉ代表の今井です。
OpenAIから「ChatGPT-4o」が発表され、大変盛り上がっていますね。

いきなりですが、先日とある飲み会で、クイズ好きな方とお話ししていたところ、「SaaS界隈のネタをベースにして、生成AIでクイズを作ったら面白そうじゃないか？」という話で盛り上がりました。

ということで、実際に生成AIでクイズを作ってみました！
今回は4つのAIモデル別に作ってみて、

・どのAIモデルがクイズ作成向きか
・それぞれの傾向の違い

を簡単にまとめました。
皆さんもクイズを試していただけるので、飲み会発のネタですがぜひ楽しんでくださいw

取り上げる題材

まずはクイズのベースとなる題材選びからです。

今回はSaaS界隈で働いていれば読んだことがある人も多いであろう、名著「Saasスター卜アップ創業者向けガイド」をクイズの元ネタとして利用しています。

久々に読み返してみましたが、今読んでも学びがあります。

こちらのデータを正解として、クイズを作ります。

今回は4つのAIモデルごとにクイズを作りました。

どれが性能いいの？といった話は、さまざまな情報が出ているのでここでは触れません。

以下の条件でクイズを作成しました。モデルごとに最適化するようなことはせず、ざっくり作ってます。

とりあえず何はともあれ、まずはクイズを解いてみてください！

皆さん、クイズへの挑戦お疲れ様でした！👏

各モデルのクイズを試した方は感じたと思いますが、モデルによって出題傾向も回答の形式もかなり特色がありました。
各モデルの所感をざっと下記にまとめました。

GPT-4
GPT4は人物の問題を出しがち（10問中、5問）で、単語で答えられる問題が多い。
正解の理由をつけて欲しかったけど、その部分はスルーでした。
私の評価としては、実用には厳しめなものが多かったです。

GPT-4o
GPT-4よりグッと問題のバリエーションが増えました。さすが。
画像つきの問題も作成してくれました。生成された画像は「😅？」という感じでしたが。

Claude 3 Opus
本文のどの部分を引用して問題を作っているかをしっかり明示してくれており、最もクイズ向きでした。問題の前提を説明しており、回答の納得感が違います。

問題をまたいだ関連性にも言及があって、10問全体をデザインしている感があります。
画像を使った択一問題は作ってくれませんでした。

Gemini 1.5 pro
原文の問題と一致が少ない印象の問題でした。
やってみるとわかるのですが、回答が「上記全て」となりがち。
画像付きの問題も作ってくれましたが、私の評価としては、実用には厳しめという結果でした。

各モデルまだまだ伸び代はありそうな気がしますが、手軽にクイズを作るなら、Claude3が最も面白いクイズを作ってくれる、ということがわかりましたw

MFiではAIを活用して業務効率化を進めています。ビジネスに活用するアイデアをお持ちのそこのあなた、ぜひディスカッションしましょう！