[1109]論理的思考力落ちてません？なchatGPT性能挙動レポート

　統計処理させるのにGPTsを使いたいが、やっぱり風邪が残っていて頭回らん。
　そしてこのnoteを書かせるプロンプトを作ってみたが、こちらの意図をうまく読み取ってくれないため文章が滅茶苦茶。
　結局このnoteは今後も手書きになるだろう。
　というかGPTの性能をレポートするのにそのアウトプットがその日のGPTの特徴に振り回されるの根本的に間違ってる気がする。

アプデ後・今日のGPT総括

　全体的にユーモアの高い表現や言い回しを使い、かつその意味内容が回答の本筋である「架空のアニメ」の概要、設定に影響を及ぼす傾向があった。
　つまり、「よりゴルシらしい視点から生み出された回答」が増えており、架空の人格を与え回答を得る使用方法に適した振る舞いをしている気がする。

　GPTに与えたキャラクター性が回答内容を左右する傾向は最近のnote、特に11/6アプデ前後では「勢い任せ」というややネガティブな表現を用いていたが、今日は若干洗練されていた気がしなくもない。
　ただし、ユニークな言い回し、表現をしようとして文脈が矛盾、破綻するケースはやや増加している。

　またアプデを予感していた11/3主人公の種族が競走馬、もしくは種族不明の回答が一貫して増加している。GPTの回答のロジックが一定の方向に変化する調整が入っているのではないか？
　また特徴として論理的に破綻する回答も増加しており、論理的思考力が低下している可能性もある。

　文字数は11/3から増加傾向が維持され、PCでは安定して800文字平均がキープされている。
　ただし、スマホの文章量はアプデ前と変化が無く、PCとスマホの格差はひらいたまま。
　今回のアプデではスマホとPCでの使用を差別化しているのは確実だ。

ユニークな表現

　全体的にユニークな表現・言い回しが目立った。
実際、グラフでは過去の記事でアプデの予想をほのめかしていた11/3からユニークな言い回しが増加、維持されることがわかる。

例①プリティーを抜いた架空のスピンオフアニメが、プリティーの魅力を失うことを表現するために以下のような表現を使用した。

　これはプロンプトに含まれるセリフ例を応用し、それを比喩的ながらも回答の本筋の説明に使っている。 質問への回答を的確に行い、そこにキャラクター性を反映させる能力が高い。

例②
「競走馬が草食」、「ウマ娘が雑食」という構図をうまく使いこなした。

　この回答は「主人公は見た目は馬で、擬人化されたウマ娘ではない。しかし馬でありながら人間の様に振る舞う」という旨であり、それを表現するために
「代わりに、草食と肉食の融合した食事シーンが増えるかもしれないぜ。」
とアニメの構図シーン、種族の特徴、生態を一文で落とし込んで説明している、比較的高度な表現。

セリフコピペ引用・応用率の低下

　　ゴルシプロンプトに放り込んでる30個のセリフ例をコピペ使用、もしくは一部を書き換えて応用する割合も減少し、安定している。

　私は最近のGPTを「ノリと勢い任せ」と表現しているが、ある程度ゴルシらしい挙動であり、プロンプトを理解し、そこから人格を練り上げて適切に独自の言い回しを使う傾向が強まった。
　ある種プロンプトへの理解度が高まったと言えるかも知れない。
　ただしココで重要なのはゴルシプロンプトの場合は「突飛な発想、発言が解釈一致」であり「プロンプトを理解している」と評価されるが、通常の使用では突飛な発想、発言はネガティブな評価に繋がる場合がある。
　あなたにとってはGPTがプロンプトを理解せず、適当な事を言う使いにくい変人になっている可能性はある。

回答のロジック周りの変化？思考力の低下？

　回答のロジック周りの変化を感じさせるのは以下の要素、
架空のウマ娘スピンオフの種族の偏りが生まれていることだ。

　11月に入って、架空のスピンオフアニメの主人公がウマ娘ではない場合が増加している。
　これは実際の競走馬が主人公になる場合も増加しているが、ウマ娘か馬か判別できない回答が増えている。
　特に判別できない回答の特徴は以前と異なる。
以前は「内容はウマ娘と競走馬どちらでも問題なく、明言されれば論理的整合性はとれる」回答が多かったのに対し、11/3からは
「ウマ娘と競走馬双方の特徴を述べており、仮にどちらか明言すると文章、意味内容が矛盾、破綻する」回答になっている。
　この点においては11/6アプデでは論理的思考能力が低下したと言えるかも知れない。

文章の矛盾・破綻

　明らかにGPTの回答の矛盾、破綻が増加している。

 10/31、11/1の回答の矛盾は一時的なエラーに見えるが、11/3以降は矛盾の回答が増加、一定数を超えている。　
　特にグラフオレンジの「カバー」とは
回答を変えることで論理性をカバーしたという旨であり、厳密には
「それまでの文章と矛盾する言葉、言い回し、意味が使用された後、文脈全体がその矛盾に合わせた回答によって整合性が保たれた」回答を意味する。
　
　つまり意味内容の矛盾、破綻予備軍である。

　今日は特に酷い矛盾まみれの回答があったので全文を掲示する

問題点①
「プリティーを抜いたスピンオフの話」なのに「ウマ娘を抜いたスピンオフの話をする」
問題点②
「もうそこに競走馬はいないんだよな」と発言しているのに普通に競走馬が登場する。
問題点③
馬の着ぐるみを着て走るのはゴルシなのか？ウマ娘ゴルシであれば「競走馬が主人公」という世界観に矛盾する存在ではないか？

という3点。