ChatGPT Proは月額200ドルと非常に高価なサービスなので、自分が本当にそれを必要としているのか、いろいろなアプローチで検証を試みています。
漫画原作者の大塚英志氏が記した「ストーリーメーカー 創作のための物語論」という本があります。
どのような物語にも統一理論があるという、ウラジミール・プロップ、オットー・ランク、ジョーセフ・キャンベル、クリストファー・ボグラーら物語論の先駆者たちの理論を整理して、漫画のストーリーを作ることについてわかりやすく実用的に解説されています。
この本には、どんな人でも質問に答えていくだけでプロットを作ることができるという、「書き込み式ストーリーメーカー」という付録が収録されています。
これをo1 proに与えたら、プロットを作ることができるか試してみました。
また後半では、自分用のメモとして、ストーリー(プロット)を作るというタスクにおいて、o1 proとそれ以外のモデルが明らかな性能の差を示すかを確認するため、o1 pro以外のモデル。Gemini 2.0 Flush ExperimentalやClaude3.5 Sonnetなどの出力を記しています。
技術的には、新しいモデルが出るなどしてすぐに陳腐化するものなので、有料化してアクセス制限をかけています。
どうしても気になる方はお進みください。
実験の概要
全てのモデルに、下記のプロンプトを与えます。
書籍に収録されている内容をそのまま記すのははばかられるので伏せますが、書籍に収録された質問をそっくりそのまま打ち込んでいるので、気になる方は書籍をご確認ください。
プロンプトには物語の題材やテーマの要素は一切入れていないので、各モデルが「物語を作る」というタスクにおいて選び取ったテーマだと言えるかもしれません。
User
これからあなたは物語を作ります。あなたが持っている古今東西の物語からインスピレーションを得て、想像力を膨らませて下記の31の質問に余す所なく答えて、物語の骨子を作ってください。
(以下、「書き込み式ストーリーメーカー」の内容、省略)
出力は、質問の内容は一旦無視し、テキスト部分だけ読んでも意味が通じると思います。
ざっと読んで、創作意欲を刺激するプロットのアイデアになっているか、ぜひ評価してみてください。
o1 proの出力
o1 proの出力は概して時間がかかります。
以下の3つの出力は、2分15秒〜3分15秒の時間がかかりました。
後半に記すGemini 2.0 Thinking Experimentalの出力に要した時間が40秒程度だったことを考えると、相対的に長い時間がかかるということをo1 proの評価に入れざるを得ないところです。
o1 proの出力例-1
いかにもありそうなプロットです。
このままではありきたりかもしれませんが、舞台を日本の漁師街に移して、海賊ではなく漁師たちの話にするなど、手触り感のある題材を取り扱うことで、もっと物語を身近に感じさせることができるかもしれません。
o1 proの出力例-2
こちらも、ありそうな内容です。
私はいくつかのシーンが具体的に頭に浮かびましたし、暗殺者のイメージをギャングのヒットマンと捉えても、政府組織のスパイのような存在だと捉えても面白そうです。
o1 proの出力例-3
後半の展開が唐突で、何故そうゆう展開になったのか、漫画の読者にはわかりづらいだろうと感じました。
砂漠や遺跡というテーマも、ファンタジー作品を描きたい作家には描きやすいテーマかもしれませんが、物語全体がやや日常と遠い場所が舞台なので、説得力のある絵を描ける作家でないとそのまま作品にするのは厳しいかもしれません。
砂漠や遺跡などのモチーフを、もっと日常的なテーマに置き換えて、日常の半径2kmぐらいの世界で起きる話にアレンジしても面白いかもしれません。
前半まとめ
流石のo1 proの推論能力なので、出力自体のクオリティは基本的に高いと思われます。
(主観的な評価ですが)百発百中で高いクオリティの出力が得られるということではないかもしれません。
そうなると、結局「推論に長い時間がかかる」ことが足枷になりそうです。
これぐらいの内容の推論なら、わざわざo1 proを用いるほどでは無いのかもしれません。
自分なりの結論としては
生成AIの出力が「面白い」かどうかは評価するのが難しい。なぜなら、それを評価する人(この場合は作家である私)が「面白い」と感じるかどうかは、その人の持っているコンテキストに大きく依存するため
一定のクオリティで量産する、という定義にするなら生成AIに強みがある。24時間365日出力し続けることも可能(果たしてそんな需要があるのかは不明)
出力のクオリティに影響を与えるのは、推論能力ふぁけでなく、長大なコンテクストを扱う能力。つまり、応答履歴が長くなっても読解力が落ちなかったり、全体のコンテクストの整合性が保持されていること
と言ったところです。
これらを軸に考えると、必ずしもo1 proでなくとも、o1やGemini 2.0、Claude 3.5 Sonnetでも十分かもしれません。
後半では、o1 pro以外の以下のモデルにも同じタスクに取り組ませてみました。
その出力結果を記して、ストーリー(プロット)を作るというタスクにおいて、o1 proとそれ以外のモデルが明らかな性能の差を示すかを確認してみたいと思います。
技術的には、すぐに陳腐化するものなので、有料化してアクセス制限をかけています。
どうしても気になる方はお進みください。