[11/03]実質11/07verアプデだった11/03GPT性能挙動レポート
風邪気味で更新でき無かった11/03の記事です。
11/04.05は余り挙動の変化が無かったので後ほど二日分まとめてnoteにします。
11/03は機能が回復を超えて、性能が向上したと判断しています。
10/31は9/25アプデ以降最悪の著しい性能低下、11/01.02は性能回復したものの、低水準におちついていたのですが。
ただし単に性能が向上したと言っても、回答は若干不安定さを残しており9/25アプデ後の手堅い回答の傾向とも若干異なります。
癖の強い回答が目立つ
11/01も癖のある回答が目立つとレポートしたが、その癖は共通の方向性を持っていて「今日の回答には架空のアニメをビジネスライクに扱っている」回答が目立った。
11/03は特殊なワードを深掘りする傾向が見られた。これまであっさりとした説明で終わらせていた話題を掘り下げつつ、説明口調ではなく口語による会話の流れで深みを生み出すことが特徴だろうか。
以下のスクショでは「そこまで突飛じゃないじゃん」と思われるかも知れないが、過去の回答にない文脈、内容が含まれており「GPTの回答としては珍しい」という風に思って頂きたい。
つまりゴルシのキャラ設定を守り、キャラクターの振る舞いを反映し、回答に情報量を増やしている。
プリティーを失うことへのリカバーを馬の美しさで補う。
ウマ娘スピンオフアニメなのにレース後のおっさんを深掘りし、更にはビールの飲み方を深掘りする。（リアル競馬くさい）
以心伝心を「目の合図」というアニメの視覚的表現で深掘りする。
セグウェイで揚陸しようとする。
など突飛な要素を盛り込みつつ、アニメの構図として具体的な説明に落とし込んでいる
文字数急上昇/スマホPC格差再拡大
PCとスマホの文字数格差が再拡大
11/3は文字数が増加した、800文字を超えたのは9/25アプデ以降初めてだ。
回答が長くなり、「continue」ボタンを押す必要があったのは3回、9/25アプデ以降初めてcontinueボタンの使用が必要になった。
しかし同時にPCとスマホの文字数の格差は再拡大した。
200文字もの格差が生まれるのは比較を開始して3例目。
またcontinueボタンを押す必要があるが、その後生成されるのは1文のみと
GPT4が25回制限だった時期なら「余計に1回使用させやがって巫山戯るな」
とキレそうな傾向があった。
これは私が所属しているウェブサロンでも同様の報告があり、
continueボタンが出るものの、その後に続くのは短文である。
continueボタンが出てくるまでの文字数が減少、
つまり1回の回答が短くなり、余計に応答回数を消費させられた
という報告が目立った。
セリフ引用率の変動
10/02から再度減少し、11/3では以前の水準に戻った
10/31の特徴であったセリフ引用、応用率が減少した。
プロンプトからキャラクター像を推測し、オリジナルのセリフを使用するという最近の方向性に反するものであった。
しかし11/03には引用、応用率が減少し、再度
「GPTがキャラクターを理解し、オリジナルのセリフを使用する」傾向に復帰した。
文章破綻率の回復
オリジナルのセリフ使用が増えたため、文章の破綻も減少した。
10/31から11/01は引用したセリフを無理矢理挿入することで文章破綻が増加していたが、10/02で落ち着き、11/03では水準が維持された。
考慮すべきはオレンジの系列2の動きである。
系列2では、引用など、文脈が崩壊しかねない発言の後に、文脈を維持する右ためのカバーが行われた割合を示している。
11/05まで続く傾向だが、現在GPTは突飛であったり文脈に合わない発言をしたのちに前後の文章が続くように軌道修正する傾向がみられる
雑感
という訳で10/31の著しい性能低下の後としては反発して、性能が向上した可能性がある。
しかし突飛なアイディア、ユニークな表現語彙、そして説明を具体的に落とし込む、論理的な回答になるようにカバーするなど、これまでとは若干異なる挙動を示しており、その根拠として文字数の増大などが挙げられると考えている。