［日隔chatGPT挙動性能レポート12/13］昨日に続きバカ･･････性能低下が目立つ＆１２月GPTはサボる？
総括
今日の特徴は
回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない
内容の掘り下げが浅い 矛盾が割と多い
セリフチックに箇条書きを展開するから読ませる文章じゃない
8月みたいに突飛な内容出してくるけど浅い、具体的すぎるので作風が掴めないので妄言を読んでる感が強い
またエラーが３回あった。
回答の途中でコネクションエラーが起きるのが２例
スマホで出力した回答がPCでは空白になってるのが１例
ウェブサロンでもエラーが起きたという人がチラホラいるので今日はエラーが多いかも知れない。
エラーが多いときはGPTの回答はバカなので、昨日に引き続き今日もバカだと言えるだろう。
１２月はGPTがサボる？
Twitter上で１２月であることをGPTに示すとトークン数が減るという話があるが、一応私の観測と合致する。
これの理由が１２月は人間と同じくサボっている？のかは不明だが、
一応この主張と私のデータは合致する。
ChatGPTは、今が12月だと伝えると、ちょっとだけサボりがちというデータが出たとのことですw
— ChatGPT研究所 (@ctgptlb) December 12, 2023
長期休暇が多い月だとこの傾向になるようです。
図の青色が5月と伝えた時のトークン数の分布で、オレンジ色が12月と伝えた時のトークン数の分布： https://t.co/Vhs3h07kkt pic.twitter.com/yzOQZDsFZZ
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
過去のレポート
ユニークなワード
ノリと勢いで出力された突飛な回答が３件あった為に、ユニークなワードの量は多い。
ように見えて他の回答が無味無臭すぎたので割合としては少ない。
セリフの引用・応用
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
１２月に入ってから若干ではあるが使用件数が増え、安定した推移をしている様に見える。
割とこれは案外大きな調整があった示唆する可能性がある
主人公の種族
若干ではあるが競走馬とウマ娘の混同が見られる。
主人公がウマ娘か競走馬か、判別がつかないか。
ヒトミミ登場率
トレーナーや観客などアニメ・アプリで登場するヒトミミ馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
これも１２月に入ってから若干特徴的な挙動をしている。
１１月に比べリアル競馬関係者の登場が少ない。
回答情報の深掘りが浅いと考える根拠の一つ
回答の矛盾・文章の破綻
文章上の問題は見られないが、ウマ娘と競走馬の混同や
セリフ部分でゴルシの価値判断、感情が矛盾するなど
GPTの考えそのものに矛盾が生じているように見える
文字数の変動
スマホでの出力文字数は改善されたが、１２月に入って文字数削減でサボりがちという傾向に当てはまる