［毎日GPT挙動性能レポート12/16］表現力は向上するも近視眼的な回答が目立つ

JunnosukeTachibana

2023年12月16日 13:15

検証方法

　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

総括

　今日は近視眼的、視野狭窄という印象の回答が目立つ。

　不満点は一回の回答の説明、意味内容が不充分な印象が強い。
この検証で言えばアニメの全体像を把握しにくい回答と言う事。

　一方で細かい要素に関する話題の深掘りや具体的、抽象的な表現の使い分け、類語累積等の性能は評価できる。

　細かい要素とはキャラクターの性格、見た目。
レース、日常といったストーリーパート。
アニメのあらすじやテーマ。
作画、BGMといった「アニメを構成する個別の要素」に当たる。
　私はこれらを「話題」、「トピック」、「視点」といった言葉で表現する

　プロンプトの理解力という点では１２月入ってからの回答とすれば比較的良好な結果だと思われる。　
　つまりGPTは会話口調のチャット、キャラクターとして振る舞うという指示を理解し、口語調での発言が目立つ。
　また全体的に説明口調な回答でも、一部分は会話、台詞、口語調になっており、根本からプロンプトの命令を理解していないと感じる回答は極めて少ない。

　また不的確、矛盾した回答も少ない印象。

　ユニークなワードは見受けられず、若干お堅い印象を受けるが、
口語の適切使用によりグラフよりもキャラクターチャットのライブ感は高い。

　また最近の特徴として僅かな数ながらも台詞の引用、応用が毎日コンスタントに使用されることだろうか。

次が回答の一例

過去のレポート

このレポートシリーズの読み解き方

https://note.com/tachibana_llm/n/n8e0cbefe2f6a

ユニークなワード

　突飛な表現、印象的、ユニークな表現、単語の使用は少ない傾向

セリフの引用・応用

　ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。

ウマ娘関連ワード

プロンプトに含まれて居ないウマ娘情報が登場した回答の割合他キャラクターや
トレセン学園等の固有名詞学習データの応用がなされているという判断材料。

　今日は２件、プロンプトに含まれて居ないウマ娘キャラクターが登場
　最近はウマ娘関連ワードもコンスタントに出現し、11/3以前と比べ頻度が高い。
　11/3は１１月アプデのプレアプデが有ったとおもわれる。

　11/3以降の特徴として、初めてトウカイテイオーが登場し、
そこそこ出現していることがあげられる。
　
　テイオーの登場はカットオフの影響を受けていると判断した。
　2023/10/26にデータのカットオフが行われた。
カットオフでは2022年1月までのデータが追加されたとされており、
ウマ娘２期も2022年1月から放送開始されたからである。