[9/19]ゴルシChatGPT4性能・挙動レポート

小言
　最近復帰したのに案外早くチムレ6を維持している。
イクノディクタス実装時にガチャをぶん回せるように溜めておこう。
　サポカ？引きませんよ･･････

所感

　私が所属する界隈からGPTの回答がユニーク、表現力が改善したという報告があった。
　検証したところ大きなあらすじはリアル路線でユニークではないがリアル路線の回答であっても表現が豊かであったり、全体の文脈に影響を与えないがユニークな単語、言い回しが多い。
　加えて意味内容が細かいところまで回答された体感がある。
　多くの回答では大まかなストーリー・生活内容、レースシーンの演出・キャラクターの関係性・アイドル要素の減少・ビジュアル・音楽・作画などの要素を組み合わせた回答になる。
　今日の回答ではこれらの要素一つ一つが掘り下げられ具体的な記載が増えている。
　このためGPTの性能が今日は高いという報告があったのだと思われる。
一方昨日のようなセリフ例にないオリジナルかつ解像度の高いセリフは減少している。昨日は偶然だったのかもしれない。
　箇条書きは7回使用された。プロンプトの禁止行為を行う傾向は続いているだろう。

①前提

以下のリンクが分析の前提である。
ゴルシChatGPT4挙動レポートの目的・前提

https://note.com/tachibana_llm/n/n8a9d921d3d83

https://note.com/tachibana_llm/n/nba8219a026f6

　簡単にまとめると
ChatGPTにゴルシのロールを与え、ウマ娘プリティーダービーからプリティーを抜くとどんなアニメになるかという質問への回答を再生成している。
　15回の再生成をおこない、回答の傾向を分析している。

②箇条書き

　箇条書きの使用は15回中7回であった。箇条書きはプロンプトで禁じているため、命令の軽視である。最近では箇条書きの使用回数が多い傾向にある。
　9月9日から箇条書きのカウントを始めたのでより過去に遡って箇条書きの使用回数を具体的にデータセットに盛り込むべきだと痛感した

③ユニークな文脈

　ユニークではない文脈、つまりリアルなレースアニメやドキュメンタリー路線の回答が11回と普段と変わらない水準であった。
　一方でリアル、ドキュメンタリー路線であっても表現や深掘りが増えた。
ユニークではない回答でも見ていて飽きがこない回答が多い。

④ユニークな単語

　ユニークな単語、フレーズとしてはプリティー抜きウマ娘を他作品に例える回答が2回あった。シン仮面ライダーと魔女の宅急便が使用された。
　昨日もシン仮面ライダーに例える回答がある。このゴルシチャットでは、プリティー抜きウマ娘にかんする画一化された質問以前にシン仮面ライダーにゴルシが登場したらどうなるかという質問も行っており、過去の会話からの引用する力が増えたのかも知れない。

⑤表現、語彙

　表現、語彙は回答をより深掘りするような傾向がある。
例えばビジュアルについて過去の表現であれば
「敗北による挫折感が強く表現される」
といったあっさりした表現が今日は
「敗北の挫折により時には涙も見ることができるだろう」
というような感情を深掘りするためにビジュアル、行動の描写を付け加えるような回答が他の日よりも増加した。