ChatGPTの性能わからん
以下はChatGPT性能検証の前提記事です。
昨日から新しいチャットルームを使用したゴルシGPTでの性能検証を始めた。以下は昨日の記事。
性能検証を始めたはいいものの
「ChatGPTわからん」
というお気持ちが強くなってしまった。スマホへの回答文字数がPCへの回答文字数を上回ったのだ。
1075回の出力を行った旧ゴルシGPTではスマホ出力文字数とPC出力文字数は大きな隔たりがあった。
スマホへの回答が500文字を超えないのに対してPCへの回答文字数は650文字以上、700文字以下と最大200文字近い格差だ。
私はPCとスマホではGPTの性能……というか性質?が異なると思っていた。
しかし新チャットルームを開いた昨日はほぼ同数、今日はスマホの文字数がPCを上回った。
旧チャットルームが使用できないのでこの変更がchatGPTの新しい設定なのか、チャットルームの新設による影響なのかは不明である。
回答の質そのものも新チャットルームでは変化があった。
特に箇条書きの使用回数は激変した。
なぜ箇条書きの使用回数が目安になるかというとプロンプトで箇条書きの使用は禁止しているため、ChatGPTが明確に命令無視をしたことを示すからだ。
スマホの使用では箇条書きの使用がないという特徴があるため、スマホだけで検証した0921,0922,0930,1001の使用回数0は参考にならないが、1002以降はPCでの生成が10回だけでもそれ以前の水準で箇条書きを使用しており、使用頻度は上昇した。
10回で8回の使用など、8割の回答で禁止事項を無視されたことになる。
しかし昨日のチャットルーム作成後、3回の使用にとどまっている。
偶然の可能性もあるが、新チャットルームの作成による影響も排除できない。
大胆に述べるのであれば、二つの可能性がある。
一つ目はチャット作成時の設定が継承され、アップデートの影響を受けない可能性。
これは回答学習データやバージョンアップされるモデル部分ではない、応答の処理を行うフェーズはチャットルーム作成した時点のものが適用されアップデートされない。という予測である。
二つ目は9/25Vモデルで音声や画像生成などを盛り込んだ際、意図的にスマホへの応答を省エネ化した可能性。
でもこれはちょっと説得力がない気がする。