[11/25]11/7アプデ後最もバランスのとれたChatGPT性能挙動レポート
総括
今日ははっきりとchagGPTが高性能だと言い切れるレベル回答だった。
11/7アプデ以降は迷走が続いており、性能、というか回答の性質が毎日極端に変化してきた。
口語、説明口調の使用率やボキャブラリ、言い換え、表現能力、回答の的確さ、ユニークな要素を盛り込みつつも文章の整合性がとれているため、11/7アプデ以降では最もバランスがとれている。
一昨日、昨日とようやくchatGPTが安定してきた後の性能向上なので、一安心?
明日もこの傾向だったらアプデ後、ちょうどいい塩梅の調整?温度?が見つかったのだろうが。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
過去のレポート
昨日の挙動
比較対象になりうる11/3のレポート
11/8のレポート
ユニークなワード
文章全体のボキャブラリ、言い換え、比喩表現が改善されておりグラフよりも強くユニークな手応え。
気になったのは賭博など「リアル競馬では常識だがウマ娘では御法度」
という内容を触れる頻度が高い。
回答の元ネタをリアル競馬に寄せてきた?
セリフの引用・応用
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
11/10以降?の傾向を維持
主人公の種族
主人公がウマ娘か競走馬か、判別がつかないか。
架空のスピンオフアニメで主人公の種族がウマ娘か競走馬かは重要な情報である。種族は擬人化コンテンツの根幹であるからだ。
今日は安定してウマ娘路線。
なおウマ娘と競走馬の判別がつかない回答3例の内、2例が意図的にウマ娘と競走馬を曖昧にしており、回答の論理的整合性に問題はなかった。
この点からも今日の回答は手堅くも、あえて変化球を織り込んでくる印象が強い
ヒトミミ登場率
架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
種族ウマ娘が少ないためかヒトミミ登場率は少なめ。
昨日はやたらとジョッキーを登場させていたが……
最近では繰り返し表現が多い事が指摘されており、ジョッキーもなんらかのトリガー?みたいなものがあったのだろうか
回答の矛盾・文章の破綻
11/7アプデ後では回答の矛盾は激減。
かつ昨日、一昨日も矛盾は比較的すくなかったため、いいかんじに調整できたのでは?という感想。
繰り返し表現
ボキャブラリーや回答の構造変化を感じさせた要素。
回答内で「架空アニメの視聴者」に言及する例が減少した。
ここ最近やたらと視聴者に言及する事が多く、メタいなぁという感想が強かった。
加えて今日の回答では「視聴者」というダイレクトな表現はなく
「観る者」や「スポ根アニメファン」
のようにボキャブラリや言い換えが行われていた。
文字数の変動
ここ最近では少ないが、安定していると言える