10/22安定化か？ChatGPT挙動性能レポート

　昨日、UIのバグが修正されたことをもって山師的な大胆予想で「ChatGPTはしばらく安定するのでは？」と予想した。
　今日のところは昨日とあまり変動がなく、今日の所予想は当たった。
驚き屋どもと違って私は手を動かして予想しているからね　
（外したらクソ恥ずかしい

昨日の記事

　https://note.com/tachibana_llm/n/n171d509501c1

安定化した要素1「セリフの引用率」

　プロンプトに含まれるセリフからの引用使用の変動が若干落ち着いた。
UIエラーが起きた10/17以降プロンプトの引用率は特定の方向性はなく、毎日シェフの気まぐれランチのノリで変動していた印象がある。

　数値的には落ち着いた変動に見える箇所でも
①オリジナルのセリフを使用することで引用率が減少した
②1回の回答内で引用を複数回行っており、引用の回数は増えている
（過去にも述べているが、これは「引用がなされた回答の割合」であって「引用したフレーズ、セリフの回数」ではない）
③オリジナリティもなく、引用もしない、ただの男勝りなキャラクター性
etc･･････と昨日今日はグラフでは表しきれない、体感ベースでの安定性が強い。

　前日からのプロンプト使用率の差異の絶対値の平均を3つの期間に別けている。
①10/2～10/16
②10/17～10/20
③10/21～10/22

　③の期間は１日分しかないので暫定的、今後のグラフのひな形程度の感覚。一応ＵＩエラー期間よりは10/22落ち着いている。
　因みに「GP」は「ゴールドシッププロンプト」の略で、ゴルシキャラプロンプトの使用率を表している。

安定化した要素2「ユニークワード使用率」

　ユニークなワードの使用率の変動幅も落ち着く前兆か？

　スマホの使用率の変動は大きいが、スマホのサンプル数がPCの半分なので大きい変動が出やすいことは留意。今後は現在の水準で推移するのかも知れない？
　ここは今後も注視。PCは横ばいが続く。
　これは今後ChatGPTの挙動が安定するのでは？という材料にもなりそうだ。
　

　ちなみに期間別の変動幅平均は以下

　これが有意な差かどうかは不明だが、エラー期間は不安定だったと言えるのかもしれない。しらんけど。

安定化した要素③「ユニークな文脈」

　これも昨日から横ばい、以上。つまりにたりよったりなあらすじの回答が殆ど。UIエラーが解消されたからこの傾向が続くかも知れない。

不安？材料「特定ワードの多用」

　今日の特徴？として特定のセリフ例を多用してきた、15回中6回も同じセリフが、冒頭直後に使用されている。同じセリフ例を同日に使い回すのはこれまでもままあったが、同じ場所に6回も使用されるのは異例。
　次のセリフはプロンプトに具体例として盛り込んでいる

お電話ありがとうございます。こちら『ゴルシちゃんなんでも相談センター』でございます。

　このセリフは1日15回の生成で1回あるかないかだが、今日は6回も使用された。

追記「APIサービスのキャラクターロール破綻」

　おとといからか？APIでNSFWを生成していた界隈でキャラクターがとんでもない挙動をしはじめたというのが話題。
　ウマは、決してNSFWに使ってないが！！！
　私も直接確認した。APIと通常使用のGPTではモデルや調整云々が異なる筈だが･･････うーん、UIバグとタイミングが被ったのがちょっと気になる。