chatGPT9/25バージョンの感想2
出先でマトリクス表作れない、キーボード使いにくい環境なのでふわっとした感想になります。
9/25にchatGPTはバージョンアップしたとアナウンスされましたがまだまだ調整中だろう。
プロンプトの順守、文字数に対する情報効率、プロンプトの応用能力が大幅に向上したが、回答に含まれるトピックが減り、ブレストの叩き台などの使用目的によっては致命的であると言える。
今日は箇条書きが全く使用されずプロンプトを守る挙動が強まった印象である。
このレポートシリーズで繰り返し説明しているがプロンプトでは箇条書きの使用を禁じているため、GPTが箇条書きで返答するのはプロンプトの無視である。
9/25以降も箇条書きは3/1の頻度で使われていた。7/15から1000以上回答をさせてきたが、1日を通じて全く箇条書きが使用されないのは9/19.20、そして今日の3日のみである。
9/19.20は突発的に表現、発想能力が向上したと考えている。他の日の回答よりも具体的かつ表現能力の高い回答が得られた。
本日の回答も他の日と異なる特徴があり、箇条書きの勝率と回答の性質の変動には相関関係があると思われる。因果関係のある要素は共通しているかもしれない。
最近は文字数のカウントをサボっていたが、今日は500文字を下回る回答が3/1を超えた。8/6前のモデルでは750文程度、8/6以降では650文字から600文字だった。
文字数は極端に減少したものの、質が低下したという感想は強くない。これまでは文字数は削減されつつも質問への本質的回答に関係のない部分は削減されず、結果回答の情報量も文字数に比例して減少した。
しかし今日の回答の内容は大同小異の表現が削減され、ユーザーが容易に類推できる内容をコンパクトにし、文字数に対しての情報効率が向上した。
さらに加えるとキャラクターとしての振る舞いはバラエティー豊かになり、所謂「原作では言ってないだけ」レベルの解像度の言葉遣いを積極的に行い、ロールチャットとしての性能も維持されている。
情報量が増えるとセリフが減る、というのが定石だった故にこの点は飛躍的な進化を遂げていると言える。
一方でこれまでの回答ほぼ全てで含まれていた回答内容の要素、例えばBGMや作画などに関する言及が一切ない回答も3/2程度に増えた。
この点はブレストのようにとにかく情報を出させようとする使い道では致命的な問題をもたらす。
そろそろデータセットのフレームも調整するべき時だろうと薄々感じているが、1000個以上のサンプルを再度分析するのはダルイなというお気持ちで締める。