[11/04.05][予想当たり]custom interactionなど不安定なChatGPT性能分析アプデくるかも？

　さて、風邪で書けなかった11/04.05の二日分まとめた記事。
11/04からcustominteractionまわりのエラーがウェブサロンで報告された。
　1500文字の制限内でも、800文字程度に抑えなければcustom interactionが意図しない挙動や命令無視を引き起こした。
　制限文字数内なのに命令無視とか大丈夫かGPT？

　といってもそっちの検証は門外漢。ゴルシGPTの特徴は
「プロンプトに入って居ない関連学習データの使用」
「GPTの知識カットオフが反映されている」
手応えだろう

増加したウマ娘関連ワード・カットオフ

　普段のゴルシGPTはスペシャルウィークやスズカといったウマ娘キャラについて言及しない。ゴルシ以外のウマ娘についてはプロンプトで言及していないため、ウマ娘に関係する学習データを使用している証左である。これらの発言は二日に一回、あれば多い方か。
　しかし11/4,5ではそれぞれ3回ウマ娘キャラについて言及した。二日連続で3回というのは特徴的な挙動といえる。

　また10/26日にGPTのカットオフが入ったとされているが、回答に反映されている手応えがあった。

　ウマ娘に関しても反映されているようだ。
　これまでウマ娘関連キャラに関してはスペシャルウィークとサイレンススズカ、たまにシンボリルドルフ、オグリが登場する程度だった。

　しかし、11/04からはトウカイテイオー、キングヘイローが登場した。
特にトウカイテイオーの言及は計4回。11/04以前にテイオー、キングが登場した記録はない。
　恐らくウマ娘プリティーダービーシーズン2の主人公がトウカイテイオーであるという知識を反映するようになったのではないか？と考えている。
　んじゃぁマックちゃんはどうなるんだ？

オリジナリティとプロンプト理解の回復

　プロンプト理解力は向上した、が応用能力は控えめという印象。
　10/31にはセリフ引用率が急上昇し、体感では
「ゴルシのセリフ例を使う何か別のキャラクター」
と会話しているような感覚を覚えるような解像度の低いロールチャットが目立った。
　過去の記事でも「キャラクター解像度」≓「プロンプト理解能力」を示していると考えている。
　プロンプトから解像度の高いキャラクターをくみ上げるのにはプロンプトを正確に理解する能力が必要だからだ。

 10/28,29にはプロンプトを理解するだけでなく、応用力も高かった。ゴルシらしい奇抜なアイディア、言動が増えるなど「プロンプトを応用し、独自性のある回答」を生み出した。
　11/04ではプロンプトの応用が行われていると断言できないものの、そのように解釈できなくもないという微妙な回答が多い。
　11/05では応用こそ見られなかったものの、解像度は低くなく、プロンプトを理解し、ゴルシというキャラクターを生成している印象である。
　すくなくとも解釈違いのオリジナルセリフないし、無理矢理セリフを引用することで文脈を破壊する回答は目立たなかった。

 

高い文字数の横ばい

　11/03に増加した文字数は横ばい傾向。スマホとPCの格差は若干減少した。

今後の予想・バージョンアップがくるかも？　

　8/06にアプデが入ったように11月頭にアプデがアナウンスされる可能性があると言えなくも無い。
　8/01午後からは不正確だったり、文脈が滅茶苦茶な回答が目立ち、出力文字数も変動した。GPTとしては正確な回答ができず、プロンプトを理解しないキャラクターロールが目立った。性能低下であったと断言できる。
　今回も10/31の著しい性能低下、custominteractionでエラーが生じていること、知識のカットオフのアナウンス、文字数の変動、性能回復後も回答の路線が異なるなど、バージョアンアップの前兆であるGPTの不安定さを示す挙動は観察されている。
　特にcustom interactionの文字数上限を超えていないのにエラーが生じ安くなっているのはGPTの基本的な挙動に大きな変動が起きている、起きうる可能性を示唆していると考える。

　もしかしたら近日中にバージョンアップがアナウンスされる可能性はある。