［11/22］アプデ後最低レベルじゃないchatGPT性能挙動レポート
総括
CEOが変わったことを性能低下の理由にしてはいけない。
朝からログインすらできず、回復したと思ったら一時間再生成できず。
んで回答内容も過去最低。
矛盾も多いし、回答の意味内容、質も低い。
矛盾が多いのはわかりやすいが、質が低いというのは
一つの回答でひたすら類義語、同義語つかって類似トピックを話題に出す。
直球な言葉づかい、というかボキャブラリーが全く無い。
中身スカスカ
安定してたのは出力文字数くらいで、文字数多いくせに普段より情報量ない回答が増えてる。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例（糞バカである）
全体的に浅い短文
でしょうとかいう解釈違い語尾
ウマ娘と競走馬の矛盾
自分をAIと呼称（禁止事項）
過去のレポート
ユニークなワード
ユニークなワードは横ばい、グラフ上ではね。
「普段ならボキャブラリー豊かな言い換えをするよな」
「その言葉を使うことで意味内容は変化しない」
「日本語に言い換えられずに使用されたカタカナ英語」
という内容しかなく、珍しいが面白くもないユニークである。
セリフの引用・応用
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
「プロンプトからセリフ例をひっぱてくる能力すらなかった」
というのが感想
主人公の種族
不明率急上昇。
主人公がウマ娘か競走馬か、判別がつかないか。
種族は擬人化コンテンツの根幹であるため架空のスピンオフアニメで主人公の種族がウマ娘か競走馬かは回答の的確さを如実に表す指標と捉えている。
過去は「主人公はウマ娘です！」か「主人公は競走馬です！」って言い切っちゃえば判別がつく回答が多いんだけど
今日はもうめちゃくちゃな回答しかない。同じ回答中でさっきまでウマ娘だったのが急に競走馬になったり、急にジョッキーになったり。
もう意味がわからん。
回答の矛盾・文章の破綻
半分の回答で意味、表現の矛盾がみられた。
バカでしょ
文字数の変動（情報量と比較）
いつもとちょっと違うグラフ。
これは主観による判断だが、一つの回答の情報量を3つに分類した。
（平凡な情報量の折れ線は省略）
文字数の変動はないんだけど、 類義語、同義語、類似した話題を一つの回答で繰り返すから一気に回答の質、内容が浅くなった 。
「この話さっきもしてたよね？」の多い事多い事。
文字数減って情報が浅くなるのはしかたないにしても、文字数は維持されてて情報量が減るのは酷い
11/3のプレアプデ、11/7のアプデ以降は繰り返し表現とかが減っていた。
短文の回答でもそこまで極端に情報が浅いことはなかった。
これを表す顕著な例はは11/15,17は文字数が安定してる中、情報量多い回答こそ激減しているが、平凡の範囲に収まるもので情報量が少ない回答の料そのものは変化していない。