[11/12]論理的だが魅力を失うか?思考の没個性化[ChatGPT性能挙動毎日レポート]
総括
ChatGPTは本日も昨日と同じくお堅い表現を使う。
11/07アプデ、正確には11/03の無告知サイレントアプデ以降の回答の特徴としては独特、ユニークだが論理的には矛盾している回答も多い印象があった。
昨日からのChatGPTは論理的な回答が増える一方で、ユニーク、独創的な回答は一切ないと言える。
二日連続かつ、極端な挙動の変化・文字数も変動しているため没個性化、論理的回答の優先は偶然ではなく、調整による影響であると明言できる。
エンタメとしてはもちろん、11/03バージョンの方がビジネス、日常用途でもアイディアをGPTに求めるような使い方も相性が良かったと思える。
これまでは11/03以降の特徴としてノリと勢いと形容していたが、恐らくGこの期間、GPTはChain of Thoughtをより強く使用し、その内容を回答に落とし込む傾向があったのでは?
この没個性化、論理化が今後も一定期間続くのか、
それともマレによくある「休日は仕様をちょろっと変えても問題ないよね」というOpenAIがときどきカマしてくるごく短期間の調整なのかは不明である。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
参考記事
昨日の没個性化を指摘した記事
11/03のアナウンス無しプレアプデ指摘記事
11/09に投稿した、アプデ後のGPTがノリと勢いで回答を生成し、論理性
が下がっていることを指摘した記事
ユニークな表現
ユニークワードの使用率も昨日の減少傾向を継続 お堅い回答が目立つ。
付け加えるなら11/3~11/9は一回の回答で複数回ユニークワードを使用しているため、グラフの見た目以上に回答の性質が変化している。
この11/03以降はユニークワード、言い回しによって矛盾、文脈の破綻が増加していた印象もある。
意味の矛盾、文章の破綻は次のグラフも関連する。
登場種族の変動
主人公がウマ娘か競走馬か、判別がつかないか。
架空のスピンオフアニメの主人公の種族がウマ娘である割合が昨日から急上昇している。
これは11/03の回答では回答中に競走馬とウマ娘で連想ゲームし、回答を生成。そのため、ウマ娘と競走馬の属性がこんがらがった回答が増えたのではないか?と判断した。
連想ゲーム説の根拠としては11/03からは競走馬の割合も他の期間と比べて上昇していることが挙げられる。
ウマ娘と原作競走馬二つの要素から連想し、もしくはウマ娘から元ネタ競走馬、競走馬からウマ娘という思考の導線が生まれ、他の時期と比べて
競走馬主人公、種族不明の割合が上昇したのではないか?
この種族不明の割合もGPTの思考パターンの変動とその方向性を示す要素である。
回答の矛盾・文章の破綻
昨日と続けて、意味の矛盾、文章の破綻は一切無かった。
Chain of Thoughtの影響が薄まったため、ユニークなワードや連想ゲームによる回答が減少し、一貫性のある回答が生成されている?と読み取った。
文字数の変動
文字数も変動が目立つ
11/03プレアプデ?以降PCの回答文字数が跳ね上がり、スマホの文字数はあまり変動がなかったためデバイスによる大きな格差が生まれていた。
昨日、今日とスマホの出力文字数が増加し、デバイス格差は縮小傾向にある。
下のグラフがより読み取りやすい
11/03からの文字数格差と比較して昨日今日は振れ幅が小さいのは明らかだ。
補足:ヒトミミ登場率
架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
11/3~11/9では回答でヒトミミが登場する割合が高かった。
特にウマ娘に登場しない、馬主、調教師、ジョッキーなどリアル競馬関係者の登場率が増加した。
一転して昨日からからヒトミミ登場率が減少、今日もその傾向が維持された形である。
再度総括
昨日から複数の要素が同時に変動し、今日もその傾向が残って居る。
種族不明と矛盾率など、因果関係しかない要素もあるが、昨日、今日と似た様な結果が得られた。
したがってこの二日は同じ特徴をもち、1103、1107以降とは異なる挙動をしていると判断した。