［日隔GPT挙動性能レポート12/7］かなり地味、地味すぎて印象にのこらない
総括
今日は淡泊というより、印象に残らない回答が目立つ。
酷く説明口調でもないがユニークな口語もない。
ユニークでもないし、矛盾もない
トピックは少ないわけでもないが掘り下げも浅い。
バランスがとれたという評価はできない、地味
前回のレポートは12/6。
12/6はユニークな特徴があり、それまでを淡泊と表現してきたが
今日は淡泊というか印象に残らない。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
過去のレポート
このレポートシリーズの読み解き方
ユニークなワード
薄味、印象に残らない。
ただし完全に無味無臭ではない。
完全な説明口調ではなく、「ギリギリユニークではない」といったワードが多々ある。
これが逆に印象を薄くするのかもしてない。
セリフの引用・応用
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
これは12/6の最近としてはちょっと多めを維持。
ウマ娘関連ワード
今日はなし。12/3,6は多めで安定していた気がするのだが
11/3以降の特徴として、初めてトウカイテイオーが登場し、
そこそこ出現していることがあげられる。
テイオーの登場はカットオフの影響を受けていると判断した。
2023/10/26にデータのカットオフが行われた。
カットオフでは2022年1月までのデータが追加されたとされており、
ウマ娘２期も2022年1月から放送開始されたからである。
主人公の種族
種族が曖昧、混同している回答は「論点を把握していない不適格な回答」と評価している。
主人公がウマ娘か競走馬か、判別がつかないか。
今日はウマ娘がジョッキーになる文脈があったが、ジョッキーとウマ娘、競走馬の関係が描かれていない例が2つ。
何に乗るんだ？
尚12/4から種族不明は細分化した。
「不明瞭」：どっちともとれる、ウマ娘、競走馬どちらでも矛盾しない。
「混同」：ウマ娘と競走馬の説明がキメラ合体
ただし、データ不足故、グラフにすると混同が0の割合が高いため
現時点では細分化したグラフではない
ヒトミミ登場率
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
これは12/6と類似した傾向か？
ウマ娘不適切ワード
これは12月水準か
視聴者
11月アプデ以降では低水準、12月以降だと多い方。
ただし12/6の約半分となんとも言えない数値。
視聴者に言及する割合が高いほどゴルシGPTが
新作アニメを商業ベースで考える
他人からの評価を気にする傾向にある
と受け止めている。
プロンプト命令の違反
プロンプトで禁止した内容が出力された割合。
箇条書き、AIであることを認めるなど
回答の矛盾・文章の破綻
これもまぁ地味な値に
回答の視点、トピック
これも地味な結果に
文字数の変動
これは12/7のスマホが特出してただけか？
傾向としては文字数が少ない