［GPTレポート1/5~1/7］GPTストアアプデ直前のGPT荒ぶりレポート

JunnosukeTachibana

2024年1月7日 17:28

ブログ的なサムシング

　明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。

　毎日レポートをしているとどうしても、驚き屋本に必要なインプット、アウトプットの時間が割けないのでしかたないと割り振り。

　まずアプデ前に性能が乱高下するのはマガジンで何度も説明している。
とその前に過去記事やら紹介

検証方法

　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

過去のレポート

この記事では各バージョンとアプデ前の荒ぶりについて軽く説明してるので目をとしておくと面白いはず

文字数のあらぶり

可視化しやすい文字数推移から

　PCの文字数は11/17から乱高下し、1月に入って落ちついたと思った。
が、今日はPCの文字数が大きく増えた一方でスマホの文字数が激減。
　
　激減といってもこの程度の増減は珍しくはないのだが、
「PC文字数がそこそこ増加したのに対し、スマホの文字数は減少した」ことが珍しい
　
　スマホは確かにPCより文字数は少ないが、弱い相関はあるように見える。
しかし、今日のここまでの真逆の動きは珍しい。

　一昨日からスマホの回答サンプルも増やし、下振れにあしを引っ張られないようにしているのだが。

回答性能の荒ぶり

トピック

　トピックの定義やニュアンスは以下の記事参照。

　昨日と今日ではＧＰＴの回答トピックの扱いかた、回答の質が大きく異なる。

1/6のトピック、回答「木を見て森を見ず」

　トピックのジャンルはバランスがいい。
　あらすじ、作品の着眼点、キャラクタービジュアル、レース、トレーニングの視覚、聴覚情報などアニメの構成要素には一通り触れている。

　一方で各トピック内での説明が大雑把かつ、段落、トピックの説明が概念的か具体的のどちらかに偏重し、深掘りも見られない。

　したがってアニメの構成要素はつかめるのだが、そこからアニメの全体像を組み立てることが難しく、不充分な説明の回答が目立つ

1/7のトピック、回答「一貫性」

　トピックのジャンルは昨日ほどバラエティはなく、
普段であれば全体像がつかめない構成。

　だが今日の回答では、それぞれのトピック、段落に一貫した類語がちりばめられ、太い線で繋がれいる。
　そのため回答に含まれていないトピックに関して、類推で全体像が想像する材料になっている。
　そのため、今日の回答の説明は充分ではないが、必要条件はみたしている。と言える

　ちなみに今日の回答で使用された類語は
「リアル」、「リアリティー」、「ドキュメンタリー」、「現実的」
「シビア」、「過酷」、「ハード」、「ハード」、「緊迫」、「緊張」

　これらの類語が各トピックにちりばめられ、作風が強く印象にのこる。

ＧＰＴの意見主張の増加

　ゴルシＧＰＴは回答の最後に架空のアニメへの期待、評価を行う場合がある。
　ＧＰＴが自分の回答を評価はＧＰＴの意見主張である。

　まずは意見主張を行わない回答の推移

　言及なしとは、自分の考えた架空のアニメへの期待、評価をＧＰＴが言及しない場合である。
　この自己評価を行わない回答が激減している。
　
　更に「ウマ娘プリティーダービー」と「ＧＰＴ作成の架空アニメ」で賛否が明確に分かれる回答が増加している。

「やっぱりウマ娘にはプリティーが必要だぜ」では
原作age、スピンオフsageの「不評」
架空のアニメを評価する言動だけでは「好評」
「どちらのバージョンも面白いぜ」では「両方評価」
と三つに別けたとき、両方肯定する割合が減少している。

　特に12/15前後から明確な賛否を示した回答が若干少なめで推移し、
12/30から12/21では両方肯定、明確な賛否ともに激減していた。
　1/5からは突如として明確な賛否を示す回答が顕著に増加した。

　明日、アプデされるＧＰＴはもしからしたら何らかの主張を織り交ぜる回答がこれまでより増えるかも？しれない

メタ発言の増加

　視聴者に言及するメタ発言も短期間で急上昇。
　視聴者、視聴者層への言及もあった。
1件「ウマ娘プリティーダービーからはアニメ番組として変わるが」
という初めての表現でメタネタも入る。
これもカウントすると過去最多に並ぶメタ発言

矛盾・表現破綻

　矛盾、破綻が低く推移して居た12/20以来、今日は回答の矛盾、破綻が最も多い。
　11月アプデでは矛盾が急増し、私は「ノリと勢いのバカ」と表現している。
　特に11月アプデではユニーク、ユーモア、突飛な傾向が見られる、説明能力の低い回答でこれらの問題が起きていたためである。
　ただし、今日の回答は先ほども言ったとおり必要条件を満たした回答が多く、「ノリと勢いのバカ」とは明確に異なる