本記事は「知財系 もっと Advent Calendar 2024」に12/13に投稿したものとなります。ChatGPT Proが12/5(現地時間)にリリースされましたが、どれくらいの性能があるかを試してみるために、5時間のセミナーコンテンツから書籍1冊分の原稿を1日で作成できるか挑戦してみました。なお、筆者の過去の執筆経験からすると、5時間のセミナーコンテンツがあれば200ページ程度の書籍の原稿は作成可能であると考えています(ただし執筆には数ヶ月かかる)。
ChatGPT Proとは
ChatGPT Proとは何か、従来のChatGPTとはどう違うのかについてChatGPT Proに聞いてみました。
ちなみに、毎月200ドル(約3万円)のサブスクモデルとなります。果たしてそれだけの価格に見合う価値があるのでしょうか?
セミナーコンテンツから原稿を作成するにあたっての下準備
今回、書籍の原稿を作成するにあたり、セミナーコンテンツとして発明推進協会で11/6,13の両日にわたって開催された「ITソフトウエア特許の明細書作成の基礎知識および裁判例から紐解く最先端の保護・活用戦略」を用いました。
このセミナーコンテンツからスライド資料および音声データを文字起こししたデータを用いますが、スライド資料としてパワーポイントやPDFデータをChatGPT proに読み込ませようとすると下記のように拒否られてしまいます。イメージデータくらいしか受け付けてくれないようです。ChatGPT 4oならパワーポイントやPDFデータも受け付けてくれたのに・・・
しかし、音声データを文字起こししたデータだけだと、最終的に生成される原稿の正確性が失われてしまう可能性があります。
このため、気を取り直して、
(第1段階)ChatGPT 4oに、スライド資料および音声データを文字起こししたデータを入力して、講義の各章の概要を作成させる
(第2段階)ChatGPT proに、第1段階で作成した講義の各章の概要および音声データを文字起こししたデータ(第1段階と同じもの)を入力して、講義の各章の詳細原稿を作成させる
という2段階のステップをふむことにしました。
ChatGPTの入力文字数の制限について
ChatGPT proおよびChatGPT 4oの入力文字数の上限を調べたところ、それぞれ2万5000字のようでした。また、ChatGPT 4oの最大応答長の文字数は2,048単語のようです。ChatGPT proの最大応答長の文字数は明確ではないものの、ChatGPT 4oよりもずっと多いようです。ですので、第1段階でChatGPT 4oに原稿の概要を作成させ、ChatGPT proに原稿の詳細を作成させるという方針はあながち間違いではないようです。
ここで、5時間のセミナー講義の音声データについて、講義の目次に従って下記の10パートに分割しました。これだと、長いパートでも音声データを文字起こししたテキストの文字数は2万文字程度に収まりました。
第1段階 ChatGPT 4oで各章の概要を作成する
第1段階として、前項で区分けしたセミナーの各章についてChatGPT 4oに講義資料のパワーポイントのデータとともに下記のプロンプトを入力します。ここで、執筆要綱として書式を設定しておくと、後でマージするときに章ごとの不一致が生じてしまうというトラブルを防止することができます。
このようなプロンプトをChatGPT4oに入力することにより、下記のような概要が出力されました。
第2段階 ChatGPT proで各章の詳細を作成する
次に、いよいよChatGPT proの出番です。果たして毎月3万円の価値があるのかドキドキしながら下記のプロンプトを入力します。念のため執筆要綱も再びプロンプトに入れました。
そうすると、いよいよ原稿ができあがってきます。
おお、なかなかいい感じ。と思いきや、プロンプトで1万文字〜2万文字と指定したのに5000文字程度しかありません。文字数が少ない!ということで、
とChatGPT proに注意を促します(やりすぎるとパワハラプロンプトになってしまうのでご注意)。しかし、何度このプロンプトを入れても出力される文字数は変わらず。ChatGPTはproでも出力量を調整するのは難しいようです(それともChatGPT proの限界か?)。
最後に各章をマージ
このような作業を各章で繰り返し、できあがった原稿をマージします。最後に、パワーポイントの図表スライドを適宜原稿に挿入してできあがりです。
このようにしてできあがったのが下記の原稿となりました。
なお、後ほど説明しますが内容に誤りのある部分も多く、決してこの資料の内容をそのまま鵜呑みにすることはしないでください。
内容についての評価
最後に、ChatGPT proにより作成された上記原稿について内容を評価したいと思います。
1.ボリュームが少ない
冒頭にも書いたように、5時間のセミナーコンテンツがあれば200ページくらいの原稿は作成できるかと思っていましたが、実際にできあがったのは図表も入れて63ページと、予想の1/3しか取れ高がありませんでした。もっとボリュームのある原稿を自動で作成できるだろうと思っていたので、これはちょっと残念な結果に終わりました。文字数を増やすプロンプトを入力しても、大幅に原稿の文字数を増やすことはできませんでした。今回のセミナーコンテンツは裁判例の解説が多かったのですが、裁判例以外の部分については頑張ってボリュームを落とさないようにしているものの、裁判例の紹介についてはスライドデータおよび音声データのみから原稿を作成するのは難しいらしく、大幅に内容がカットされてしまっているようです。
2.内容についても疑問点のある部分が多い
ChatGPT等の生成AIの問題としてハルシネーション(入力情報にない情報まで生成AIが勝手に付加して出力する)が挙げられますが、今回ChatGPT proが作成した原稿でもセミナー中に喋っていないことやスライド資料にも載っていないことが勝手に追加されており、しかもそれが間違っているという箇所がいくつか見受けられました。また、同じ章の中で、最初の方に喋った事項と後の方で喋った事項をChatGPTがごっちゃにして原稿として出力してしまっているという場面が見受けられました。このため、ChatGPT proが作成した原稿といえども、そのまま用いるのは危険であり、人間の手によるレビュー、修正がマストになってきます。なお、後者の問題については、章ごとに区切るのではなく、もっと細かく区切ればある程度解消されるのではないかと思います(その分、人間の労力は増えますが)。
3.それでも原稿執筆のとりかかりとして下書きがあるのはありがたい
実際に雑誌の原稿や書籍を執筆したことがある方ならご存知かと思いますが、真っ白な状態から原稿や書籍を執筆するのは、取り掛かりに苦労するものです。いざ書き始めると流れに乗ることができる場合もありますが、最初の第一歩は荷が重いですね。しかし、ChatGPT 4oやproに今回のレベルの原稿を作成してもらっておけば、それを起点として原稿を書き始めることができるため、何もない状態からはじめるよりはだいぶ楽になるのではないかと思いました。
4.ChatGPT proに毎月3万円課金する価値があるかどうかは保留
最後に、今回の原稿は最終的にChatGPT proによる出力のものとしましたが、同様の方法でChatGPT 4oに出力させても、内容にそれほど大きな差はありませんでした。ChatGPT 4oが毎月3千円、ChatGPT proが毎月3万円と10倍の差がありますが、今回の実験ではそのメリットを感じることはできませんでした。このあたりは他の方のChatGPT proの活用事例も見ていきたいですね。
まとめ(をChatGPT proに作らせてみた)
今回の記事では、ChatGPT Proを用いて、5時間のセミナーコンテンツから書籍1冊分の原稿を1日で作成する挑戦を振り返りました。結果として、200ページ相当の原稿を期待していたところ、実際には63ページの内容に留まりました。また、内容にはハルシネーションや情報の混同といった問題が含まれており、人間によるレビューと修正の重要性が再認識されました。一方で、白紙状態から原稿を執筆する負担を軽減できるという点は、生成AIの大きな利点として挙げられます。さらに、ChatGPT ProとChatGPT 4.0の違いについては、現状では価格差に見合う価値を見出せず、他の活用事例を参考にする必要がありそうです。今後、AIツールの精度がさらに向上し、執筆プロセスをより効率化できるようになることを期待しつつ、本記事を通じて感じた可能性と課題を引き続き検討していきたいと思います。