速報！OpenAIがバージョンアップした「text-davinci-003」の検証レポート！【Podcast 文字起こし】
2022年11月29日のPodcastの書き起こし記事です。
サマリー
Catchyで使用している「GPT-3」が大幅にアップデートされた
無理せず長文が作れるようになったり、文字数のコントロールも改善された
推論の能力が上がってるかも？
書き起こし
伊藤：概要を説明すると、Catchyでも使ってるGPT-3というAIがあるんですけど、それがアップデートされたんですよね。どんな感じでアップデートされたのかな？と思って触ってみたら、思った10倍くらいめっちゃアップデートされてて、ひたすら朝から興奮してたっていう感じです。
GPT-3の新モデルと旧モデルの実験してみたスレッド🧵
— いとう！@AIを1日1つ作る (@itosinitosin123) November 29, 2022
davinci-3とdavinci-2それぞれに、Catchyを通してGPT-3の概要を長文で作って比較してみました。(続く
柴田：GPT-4の噂とかもありましたよね、最近。
伊藤：ね。定期的に3ヶ月に1回起こるやつな。
柴田：はいはい。今回はGPT-3の「davinci」っていうモデルの、今までは002って言ったらいいのかな、それが003なるものが出てきて、GPT-4じゃないからそんなにクオリティ上がるのかな？と思ってたんですけど、結構触ってみたらいい（感じ）ですね。
伊藤：毎回OpenAIのアップデートって裏切られ続けてきたけど、今回はいい感じにアップデートされましたよね。
柴田：ですね。僕が触ってみた感じ、1番わかりやすかったのは、無理せず長文が作れるっていうところと、表現の幅もちょっと広がったのかな。あと、（これまでは）長文を作れるんだけども例えば短くしたいときとか、結構文字数のコントロールがこれまで難しいこととかもあったので、それがだいぶ楽にできるようになったように見えましたね。
伊藤：長文にしてくれ！って今まで言ってもなかなかいう事聞いてくれなかったけど、ようやく言うこと聞いてくれるようになったのと、変な記号とか出づらくなりましたよね。
柴田：変な記号？
伊藤：リスト並べるときとか、（例えば）10個並べてくれって言ったときにナンバリングというか、「1・2・3」って並べるじゃないですか。あれたまに「2.2」とか「3.1」とか謎のコンマついてたりしてたけど、今回全く出なくなりましたね。
柴田：あーたしかに。あれは「temperature (※)」っていうひとつの設定で、0〜1で設定できるんですけど、それを上げると結構出やすいイメージだったので、そこも解消されたのかな。
※temperature：アウトプットのランダム性を指定できる。0の場合は確定的で、数値が上がっていくにつれてクリエイティブになっていく。
伊藤：そうですね。
柴田：フォーマットも結構バラバラで出てくるので、数字のリストも数字＋コンマ（例：「1.」「2.」）なのか、数字＋カッコ（例：「1 )」「2 )」）なのかめちゃくちゃ気まぐれなので、そこも安定すると嬉しいですよね。
伊藤：これCatchyに含んだら結構アップデートされますよね。
柴田：だいぶされますね。
伊藤：今ちょうどほか（Catchy以外）でやっててめっちゃ興奮してたのが、数学の問題めちゃくちゃ解けるようになってんすよね。
柴田：数日前、GPT-3はURLだけを与えたらその中の情報を取ってきてくれるのか、みたいなテストもしてたじゃないですか。そういうところもなんか、そこは難しいのかな？
伊藤：まだ（テスト）してないけど「ここのURLのメタデータのどこどこ取れ」みたいな指定したら案外いけそうじゃない？
柴田：メタデータだったらいけそうな気もしますよね。それは違う仕組みになっちゃうのかな、どうだろう。
伊藤：「headerのメタディスクリプション取れ、bodyのh1〜h6までとpタグ取れ」とかいけるんかな。
柴田：かもしれないですね。GPT-3の性能が上がることとリンク先の情報を取ってくるかというのは別問題の気もするので、テストしてみないといけないですね。
伊藤：テストしないとわからないですね。
伊藤：シンプルに数学の（テスト）やってて思ったんですけど、推論の能力がめちゃくちゃ上がってるんですよね。
柴田：へー。
伊藤：普通にコンサル系の課題とか方針とかいけるんじゃないかな。論理的に繋げるのが苦手なところあったけど、それ強化されたんだったら結構強いですよね。
柴田：そうですね。（Catchyには）事業計画のツールとかもありましたけど、その辺とかももうちょっとクリエイティブに考えてくれたりするのかな。
https://ai-copywriter.jp/magics/business-plan
伊藤：いける気がする。数学の問題だと、数学オリンピックっていうそこそこ難しい数学の問題があるんですけど、それやらせると完全には解けないけど方針は合ってるんですよね。恐ろしいなと思って。一番こういう問題で悩むのって最初の方針の部分なんですよ、どこから突っ込むかっていう。
柴田：へー。
伊藤：だからもうちょっと触ってみて、Catchy側で改善できるところを見つけるのと、できないって諦めてたやつもちょっと新しくやりたいですね。
柴田：僕1つできなくて諦めてたのが、イラストをSVGで吐き出すみたいな。前のモデルでやってたんですけど全然うまくいかなくて。あとでやってみたらもしかしたらうまくできるかもしれない。
伊藤：たしかに。Excelの表で出せ、とかも一応できるからそれも（性能）アップしてるのかな。
柴田：そういう入力を元に情報を整理するっていうのもできないことはなかったですけど、ものすごい使えるかと言われるとそうじゃなかったので、も
しかするとそこも精度上がってるんだったら結構使い道ありそうですね。
その他のPodcastのエピソードはこちらから！
文章生成AI「Catchy」のお試しはこちらから！
※無料登録にクレジットカードは必要ありません。