[11/14]今日のChatGPT性能挙動レポート土日挙動違う説＆調整確定※追記今日はバカ
総括
chatGPTの回答傾向は昨日と類似点が多い、従ってアプデ前後、11/11から11/12の調整、11/13から再度調整が入った可能性が高い。
体感的には11/13,14よりも回答にユーモア、表現の幅が広がったが、11/3から比較すると手堅い回答という印象。
回答傾向は11/3-11/10、11/11-11/12はそれぞれ異なる特徴を持っていた。
ただし昨日と大きく異なる変動した要素もあり、
現在は「不安定化」に当たる時期なのかもしれない。
（追記と合わせると当たってたか？）
尚8／6から8/22のデータはまだ定性分析しきれていない。
尚、分析で目に見えてわかりやすい物はユニークワードとセリフ引用、応用率、文字数であろうか。
今回「openAI土日に調整をぶちかましがち」説が強まったので午後に検証記事を出したい。
はい！今日のchatGPTはバカ！（追記）
※11/14エラーで返答が打ち切られるケースが上昇
※Excelの処理、VBAコード生成能力低下
※そもそも処理の途中で打ち切られるかエラーですすまない
※10回に1回表示されてもエラー、デバッグが必要
※10回に1回の修正にまた10回に1回を引く必要がある
※試しに11/10に一発、エラー無しで出力されたコードも再挑戦。
何回やってもエラーで出力できない
「chatGPTがプロンプトに従った結果、論理的ではない振る舞いをしている仮説」
— JunnosukeTachibana (@smartAINews) November 10, 2023
の根拠は
GPTが自分の回答の矛盾点を回答内で指摘している回答が確認された
他のチャットでこれまで実装不可能だったVBAコードを一回の説明でエラー無しの一発作成が出来た https://t.co/qKvRfFutFB pic.twitter.com/QO99jelq66
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
以下が回答例
過去のお勧め記事
このレポートの捉え方
実質11／7アプデが入った11/3のレポート
調整が入ったとみられる11/12のレポート
ユニークなワード
ユニークなワードの使用率は昨日と横ばい。
先ほど挙げた過去の二つの期間と異なる値。
セリフの引用・応用
もしくは応用して使用されている回答の割合
これは11/11の調整後と同じ水準。
ここは調整が入っていないのか？
主人公の種族
架空のスピンオフアニメで主人公の種族がウマ娘か競走馬かは重要な情報である。種族は擬人化コンテンツの根幹である
今日11/11から11/13まで高水準だったウマ娘率が急落、競走馬率が上昇した
乱高下しやすい項目ではあるが、過去のパターンから見てもかなりの変動と言える。
11/3から一貫して不安定な要素と言えるか？。
回答の矛盾・破綻
若干回答に矛盾、文章の破綻は見られるが、これは競走馬率と相関する種族不明の割合と相関して回答の矛盾が上昇したと言える。
ヒトミミ登場率
架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
競走馬の登場率に連動してヒトミミ登場率も上昇か？
文字数の推移
文字数の推移はPC・スマホのデバイス間格差を含め安定化傾向。