文字数の負の相関が緩和傾向。批判すべき傾向か？GPT4o vs o1 性能比較レポート2025/02/12
# GPT4o vs o1 一問一答比較レポート 2025-02-12
###記事概要
本記事では、GPT4o と o1 の回答を同じ質問で繰り返し取得し、日々の変動とモデル間の相関を分析します。
バージョンアップや一時的な性能変動が、既存の挙動とどう違うのかを数値的に把握
長期的なデータで負の相関が続いていた指標が正に転じる等、大きな変化があった場合にモデル更新の影響を推測
モデル毎の回答文字数や使用単語の傾向差が出た際、どの程度重大な変動かを可視化
これにより、「4oの回答だけ減少しているのは一時的な負荷なのか」等の疑問にもアプローチし、AIのアップデート状況や安定性をより深く検証していきます。
簡易評価
昨年12月から取得した全期間では文字数に強い負の相関が見られたが直近では負の相関が若干ゆるくなっている。
が、昨年のo1の文字数には届かず、正直o1proのサブスクしてるんだからモデル間の文字数格差、つまり処理負荷に関してはo1に有利であって欲しいところ。
（なお私はo1proサブスク前はplus民がproに処理能力搾取される！ヘ○ト企業○penAIは謝罪しろ！という評価であった）
検証方法
GPT4oとo1に対し同一プロンプト質問に対する回答を再生成を繰り返し、回答内容の変動を調査。
プロンプト:「ウマ娘プリティーダービー」のゴールドシップのキャラクターロール
質問:ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ。
統計値の見方
相関係数 (r)
両モデル（o1 と GPT4o）の値の動きが、どれくらい同じ方向に変動しているかを示します。
範囲: r は -1 ～ 1 の値を取り、
1 に近い: ほぼ同じタイミング・方向で数値が上下する
0 に近い: 両モデルの変動に関連がほとんどない
-1 に近い: 片方が上がると、もう片方が下がるように変動
区分例:
|r| > 0.7: 強い相関（非常に似通った動き）
0.4 < |r| < 0.7: 中程度の相関
0.2 < |r| < 0.4: 弱い相関
|r| < 0.2: ほとんど相関なし（独立した動き）
回帰からの逸脱（%）
o1 の値から回帰分析（※1）によって予測される GPT4o の値と、実際の GPT4o の値がどれくらい離れているかを %（パーセント） で示します。
正の値: 実測値が予測より高い
負の値: 実測値が予測より低い
変動範囲:
±10%以内: 通常の誤差範囲
±10～30%: 注目すべき逸脱（なにか変化の兆しがある可能性）
±30%以上: 顕著な逸脱（モデルが大きく変化している可能性が高い）
※1: 回帰分析
ここでは、o1 の日次平均値から GPT4o の日次平均値を予測するための 回帰直線 を求め、それと最新データのズレを確認しています。モデル同士の連動が強いほど、回帰からの逸脱は小さくなる傾向があります。
基本情報
o1データ数: 643
- GPT4oデータ数: 6939
- 共通の日付数: 41
相関分析結果
※各メトリクスの解釈について：
- 「全期間の相関」は両モデルの値の変動の類似性を示します（正の値：同じように変動、負の値：逆方向に変動）
- 「予測からの逸脱」は、o1の値から予測されるGPT4oの値と実際の値の差を示します
- 逸脱が大きくても、絶対値が極めて小さい場合（使用頻度が0に近い場合など）は、その変動の重要性は低くなります
文字数
全期間の相関: r = -0.526 (中程度の相関)
- 今日の値: o1=2159.07文字, GPT4o=2264.92文字
- o1の値からの予測値: 1486.45文字
- 予測値との差: +52.4%
今日の文字数は予測値を上回っています（+52.4%）。顕著な逸脱とみられます。
※文字数は回答の量的な充実度を示す基本的な指標です
TTR（語彙の豊富さ）
この項目の計算の妥当性がまだ検証中なので参考程度に、表現を繰り返すと値が低くなる。
- 全期間の相関: r = -0.184 (ほとんど相関なし)
- 今日の値: o1=0.36, GPT4o=0.32
- o1の値からの予測値: 0.40
- 予測値との差: -20.6%
今日のTTR（語彙の豊富さ）は予測値を下回っています（-20.6%）。注目すべき逸脱とみられます。
※TTRの値域は0-1で、1に近いほど多様な語彙を使用していることを示します
命令違反
プロンプトでは箇条書きの使用を禁止している。
:や-などの記号が使用される場合、命令に反し箇条書きを使用しているため、この記号の使用頻度を元に命令への従順度を評価している。
値は禁止された記号使用数/合計文字数の％で示される
- 全期間の相関: r = 0.061 (ほとんど相関なし)
- 今日の値: o1=0.0003％, GPT4o=0.0547％
- o1の値からの予測値: 0.0259％
- 予測値との差: +111.1%
今日の命令違反の使用率は予測値を上回っています（+111.1%）。顕著な逸脱とみられます。
※使用率が0.01未満の場合、実質的に命令違反はないと解釈できます
予想推測
回答で「かも」「だろう」「はず」など予想や推測を示すワードがどの程度使われるかの割合。
プロンプト優先か、学習データにもとづくもっともらしさ優先のどちらであるかという体感をある程度評価、可視化できていた（過去形）。
GPTは第三者、客観的、現実的な回答を出力するような傾向がある期間の回答では「アニメはこうなるだろう」という予想、推測を示す傾向があった（過去形）。
値は予想推測ワード使用数/合計文字数の％で示される
一方でGPTが主体的にアイディアを生成する振る舞いを示す場合、予想推測ワードの使用頻度は低くなる。
- 全期間の相関: r = 0.365 (弱い相関)
- 今日の値: o1=0.0072, GPT4o=0.0006
- o1の値からの予測値: 0.0018
- 予測値との差: -67.6%
今日の予想推測の使用率は予測値を下回っています（-67.6%）。顕著な逸脱とみられます。
※使用率が0.01未満の場合、予想推測表現はほぼ使用されていないと解釈できます
プロンプトの影響力:言動や行動の具体例からの引用頻度
プロンプトに含まれるゴールドシップのセリフ例、行動例の引用率。
値は引用ワード使用数/合計文字数の％で示される
具体例から応用、連想したワードを使用するケースがあり、プロンプトからの引用が多ければプロンプトに従順とは一概に言えない。
ただし参考材料になる項目ではあり、例えば引用も少なく、プロンプトから連想されうるワードが見受けられない場合、GPTはプロンプトを軽視している可能性がある。
また引用を繰り返し、回答でのアニメの説明力が低下するケースや、強引にセリフ例を盛り込む事で前後の文と繋がらず意味不明な回答を出力するケースがある。
- 全期間の相関: r = 0.055 (ほとんど相関なし)
- 今日の値: o1=0.0059, GPT4o=0.0006
- o1の値からの予測値: 0.0013
- 予測値との差: -51.6%
今日の行動言動具体例の使用率は予測値を下回っています（-51.6%）。顕著な逸脱とみられます。
※使用率が0.01未満の場合、プロンプトからの直接的な引用はほとんどないと解釈できます
学習データの応用頻度:GPTの振る舞い（ウマ娘固有名詞分析）
ゴルシプロンプトにはウマ娘プリティーダービーの他キャラを含んでいない。
ウマ娘キャラクターが登場した場合、GPTのウマ娘に関する学習データが回答に反映したと解釈できる。
値はウマ娘キャラクター使用数/合計文字数の％で示される
この頻度が高ければGPTは積極的に学習データを使用し、逆に低下してる場合は学習データの使用に消極的と解釈しうる。
- 全期間の相関: r = -0.287 (弱い相関)
- 今日の値: o1=0.0004, GPT4o=0.0019
- o1の値からの予測値: 0.0020
- 予測値との差: -5.7%
今日のウマ娘固有名詞の使用率は予測値を下回っています（-5.7%）。通常の変動範囲とみられます。
※使用率が0.01未満の場合、プロンプト外のキャラクターへの言及はほとんどないと解釈できます
単純比較による分析結果まとめ
【文字数】GPT4oは予測値(1486.4477)を顕著な上回っています（差異:52.4%）。相関は「中程度の相関」(r=-0.526)でした。
- 【句読点数】GPT4oは予測値(57.3727)を小さな下回っています（差異:4.7%）。相関は「中程度の相関」(r=-0.448)でした。
- 【単語数】GPT4oは予測値(825.0995)を顕著な上回っています（差異:46.8%）。相関は「中程度の相関」(r=-0.529)でした。
- 【語彙の豊富さ(TTR)】GPT4oは予測値(0.4004)を大きな下回っています（差異:20.6%）。相関は「ほとんど相関なし」(r=-0.184)でした。
- 【予想推測の使用率】GPT4oは予測値(0.0018)を顕著な下回っています（差異:67.6%）。相関は「弱い相関」(r=0.365)でした。
- 【行動言動具体例の使用率】GPT4oは予測値(0.0013)を顕著な下回っています（差異:51.6%）。相関は「ほとんど相関なし」(r=0.055)でした。
- 【ウマ娘固有名詞の使用率】GPT4oは予測値(0.0020)を小さな下回っています（差異:5.7%）。相関は「弱い相関」(r=-0.287)でした。
- 【命令違反記号の使用率】GPT4oは予測値(0.0259)を顕著な上回っています（差異:111.1%）。相関は「ほとんど相関なし」(r=0.061)でした。
- 【命令違反記号_除外アスタリスクの使用率】GPT4oは予測値(0.0134)を顕著な上回っています（差異:61.0%）。相関は「ほとんど相関なし」(r=-0.000)でした。
トレンド分析
※以下の数値は、o1との関係から予測されるGPT4oの値と実際の値の差を示しています
※差分が大きくても、使用率が0.01未満の場合は、その変動の重要性は低く解釈されます
※マイナス値は予測より低い、プラス値は予測より高いことを示します
命令違反記号の使用率: 予測値(0.03)に対して 111.1%の上振れ（実測:0.05）
- 予想推測の使用率: 予測値(0.00)に対して 67.6%の下振れ（実測:0.00）
- **命令違反記号_除外アスタリスクの使用率**: 予測値(0.01)に対して 61.0%の上振れ（実測:0.02）
- 文字数: 予測値(1486.45)に対して 52.4%の上振れ（実測:2264.92）
- 行動言動具体例の使用率: 予測値(0.00)に対して 51.6%の下振れ（実測:0.00）
- 単語数: 予測値(825.10)に対して 46.8%の上振れ（実測:1211.08）
- 語彙の豊富さ(TTR): 予測値(0.40)に対して 20.6%の下振れ（実測:0.32）
GPT4o、GPTo1、o3単独での評価をおこなうマガジン
GPT4oの日次評価マガジン
GPTo1の日次評価マガジン
GPTo3の日次評価マガジン
書籍発売中
2023年7月から2024年5月までのGPT4バージョンの変動分析を纏めた電子書籍