見出し画像
Photo by tosh1965

文字数を指定しての要約、GPT4で大きく性能が上がっていました。これは使える。

高島利行

ちょっと前にこんな note を書きました。

ChatGPTを使って書籍の内容紹介の要約を試してみたら、難題に遭遇してうまく行かなかった（けれどChatGPTによる要約には可能性を感じた）という内容です。

そこに、数日前にコメントが付きました。GPT3.5だと再現される問題がGPT4では解決されているというのです。そういうことなら試してみなければ。

ということで、本日（2023年3月23日）の近刊検索デルタのツイートで、GPT4による内容紹介の要約を試してみました。以下、ツイートを掲載します。

毎朝、こんな感じで前日のアクセスランキングをツイートしています。

先日のnoteに書いてありますが、このツイートに使っている内容紹介の要約をChatGPTにやってもらうために、ツイートに含まれる内容紹介以外の文字数をカウントして要約の文字数を導き出すと同時に要約のもととなる内容紹介をコピペしやすい形で書き出すPHPスクリプトを用意してあります。

前回は無料のChatGPT（GPT3.5）でしたが、今回は有料の ChatGPT PLUS（GPT4）を使います。プロンプトは「次の文章を必ず◯◯文字以内に要約してください。」というシンプルなものです。このプロンプトに続けて要約してもらいたい文章を鉤括弧でくくって渡します。ChatGPT PLUSが要約した文章をコピーしてPHPで用意したフォームに貼り付けて実行すると順位やタイトル・出版社名・リンクなどと内容紹介をまとめたツイート用のテキストが出来上がります。それをコピーしてツイッターに貼り付けます。非常に原始的な仕組みですが、とりあえずやりたいことは出来ています。

今日は第5位のアイテムでいきなり頓挫しました。要約してもらうために用意したテキストは「内容紹介」「目次」「著者」「出版社」「ISBN」を連結したものです。これが長すぎるとして弾かれてしまいました。とりあえず第5位はChat GPT PLUSでの要約は諦めました。

いつもならここで終わるところですが、今日は他のでやってみるかと思い、続けて4位の要約を試行しました。すると、どうでしょう、めちゃくちゃいい感じに要約が出来上がってきました。これは使える。

さらに第3位の内容紹介も要約。ばっちりです。これもう、このまま使えるのでは。

しかし、この段階で既に幾つか課題が見えてきました。

まず、文字数が多すぎるとして弾かれた第5位ですが、要約してもらうテキストとして「内容紹介」と「目次」を渡したのが文字数オーバーの原因です。なぜ「内容紹介」だけにしていないかというと、内容紹介だけだと文字数が極端に少ないアイテムがあるので、それを避けるために目次を足してみたのです。ですが、今回のこの結果を見ると、内容紹介が明らかに文字不足の場合に限って目次などを足すのが良さそうです。

うまく要約された第4位と第3位にも問題がありました。要約用に渡したテキストに含まれる「著者」をGPT4が要約に入れ込んできたのです。気持ちはわかります。ですが、著者名は別途記載するので要約の中には不要です。ですので、そもそも渡すテキストに入れておく必要はありませんでした。同様に出版社名とISBNも要約用に渡すテキストには不要です。

上記の問題はどちらも「要約用に渡すテキストの内容」の問題です。これは簡単に解決できます。

他に、前回PHPスクリプトを大急ぎで書いたせいで文字コードの処理が甘く一部の文字が化けるという問題も改めて認識しました。これは最初からわかっていたはずなので事前に直しておくべきでした。

これだけ問題がはっきりしてくると次回からはだいぶ改善できそうです。

とりあえず、続けて第2位と第1位も要約します。こちらは上記の問題（渡すテキストと文字化け）の問題を手作業で解決してから ChatGPT PLUS に渡しました。結果、こちらの希望通りの要約が返ってきました。

今日の試行はここまでです。結論として、GPT3.5の時は使えない場合も多そうでしたが、GPT4だと問題なく使えることがわかりました。出版社の内容紹介は様々な文字数のものを事前に用意する必要があります。これが「出版社が最初に用意する内容紹介はそこそこの長さのものひとつだけでよい」ということになると非常に楽になります。まさにワンソースマルチユース、まさにDX。となると間違いなども減りそうです。

使う側としても、出版社に色々と用意してもらったり自ら要約するのよりかなり楽になります。ただし、要約する前に前処理の必要はあります。今回は「順位」「タイトル」「著者」「URL」「発売日」「出版社」は内容紹介に含んでいませんが、利用する側によってそのあたりは変わるはずです。

いやあ、でも、これ、本当にすごいです。GPT3.5からGPT4になって出来ることがどれぐらい変わったかいまいちピンと来ていなかったのですが、これは一目瞭然でした。これ、間違いなく使えます。

こうなると ChatGPT PLUS を使った手作業のコピペではなくAPIを使って自動化したいところです。現状の使い方であれば料金は微々たるものなので、この土日にでもどうにかしたいと思います。

それにしても、「短い要約、AIで簡単に出来るようになったよ！」というタイミングで日販速報が最終号というのも皮肉な話です。取次広報誌の短い内容紹介が一番面倒だったんですよ。出版社が要約するにしても取次が要約するにしても、AI使ったら一発になっちゃいましたよ。

こんな未来がこんなにすぐにやって来るとは思ってもいませんでした。

いいなと思ったら応援しよう！