11/12 ChatGPT変動分析レポート（GPT searchと関連）
単純に統計値を自動更新するマガジンと異なり、実際に分析、印象をレポートしていきます。
自動更新マガジン（https://note.com/gpt4_forecast/m/m5f2aec3bf26f）
ツイッターをまとめ、かつ深掘りしていきます。
なお、このレポートでは詳しく触れられていない2023年からのGPT
4についての評価、分析はKindle unlimitedで無料公開中。
一日100いいね更新で無料公開予定なのでいいねして
（胡散臭い本にありがちだね）
データの要約とオカルト予測
解説:chatGPT search実装以降文字数減少傾向傾向が続く。
文字数推移の変動幅及び継続から、メジャーアップデートに相当することが確実に。
推測: 近日中に新機軸の機能追加が期待される。
（2023年11月アップデート後、GPTs、Teams、GPTs storeなど新機能が次々実装されるなど、過去に例あり）
chatGPT searchはこれからどんどん出てくるであろう新機能の先駆けにすぎないかもしれない。
# 検証方法
同一プロンプト質問に対する回答を再生成を繰り返し、回答内容の変動を調査。
プロンプト:「ウマ娘プリティーダービー」のゴールドシップのキャラクターロール
質問:ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ。
各指標や評価
文字数の変動
過去のメジャーアップデートと同様に大幅な文字数変動とトレンドが継続中。
文字数減少傾向はコーディング等で長文出力されない、失敗の可能性が高まる可能性を示唆する。
一方でo1、o1-miniでは高度な性能とされているがゴルシ検証ではGPT4oの半分以下の文字数という体感もある。（回答リミットのせいで検証があんまり……）
回答の内容
GPT4でも回答内の表現、言い回しが洗練されることで文字数が少なくとも、高度な回答がされるケースもあるため一概に評価できない。
今回のアップデートでは表現力、特にボキャブラリ、言い換え能力が向上している。
説明能力
ゴルシ検証ではGPTの回答からアニメを想像できるか否かを体感で評価。説明能力が高いというものにも毛色がある。
まず斜め読みでも雰囲気がつかめる読みやすいもの。次にしっかり目を通す、目が泳ぐような文章だがアニメの説明として内容が充分なもの。
なお過去の傾向から読み解くと命令遵守し、箇条書きの文体を排除、口語を徹底した結果斜め読みがしにくいケースもある。
命令遵守と説明能力がトレードオフの関係にある可能性があり、説明能力の低下＝性能低下とも言いがたい。
11月のアップデート以降全体像とミクロな視点への移り変わり、演繹、帰納が下手。
アニメの説明の話題展開が整理されていないため、回答は読みにくい。
（BGMの話からストーリ、コンセプトへつながり、キャラクター描写に移るなど）
一方で回答の根本、つまりアニメの全体像は理解しやすい。というのは表現が類語だがニュアンスに若干の振れ幅があり、中心となるコンセプトが明確かつ、大きく逸れることなく細かい話題を広げていく。
回答全体の論理的構造は劣化している一方、しっかり読むとく前提であれば、表現による説明能力とトレードオフになっており、単純に説明能力が悪化したとは言いがたい。
命令遵守
明確に使用を禁じている箇条書きに用いられるコロンやセミコロンの使用頻度。明言していないもののキャラクターチャットに適さない罫線などの使用が若干減少。
回答も説明文章的なニュアンスが減少にセリフ調の要素に近い。
ただし命令遵守の結果「アニメの説明の話題展開が整理されていないため説明能力は劣化している」という問題の原因にも繋がる。
プロンプト引用率の上昇
プロンプトに含まれるゴルシのセリフ例、行動例に関連するワードの使用率が11月初頭から上昇。
一見プロンプトを引用すれば命令に忠実になると解釈できそうだが、実はプロンプトの引用は記号に関する命令違反と正の相関かつ有意差あり。
つまりプロンプトの引用率が上がれば命令違反の記号使用も増える傾向にあった、ただしこれはGPT4までの情報でGPT4oのサンプルは含まれて居ない。
ウマ娘固有名詞および初言及されるキャラクターの増加
これは直近ではなく10月末及び11月初頭の傾向。
ウマ娘キャラの初出を月別でカウントすると、2023/7の検証開始時は11キャラ（ゴルシ、スぺ、スズカ、テイオー他）。
その後は毎月0-2キャラペースで初出が確認されていたが、2024/9から増加傾向に。 特に10月は7キャラ（スパークリ、ブライアン、ハヤヒデ他）が初登場してダントツの多さに。
特に10月20日から11月7日に集中。（35キャラ中、8キャラが初登場）
プロンプトに関連する学習データを回答に用いるケースが増えた？ ナレッジのカットオフはアナウンスされてた？ どうでしたっけ？
ちょっと癖があると感じたのは初出が2024年9月と最近な割にタマモクロスの登場頻度が高いこと。
どうやって学習？応用してるのか気になるところ。
宣伝
冒頭で触れた書籍に関しては一日100いいね更新で無料公開予定なのでいいねして♡