[11/29]昨日より視点、トピックを浅く広く触れるchatGPT性能挙動解説
今日は実験的に一部アプリＧＰＴで後述筆記、校正をさせています。
いつもと文体が違うかも。
総括
本日のGPTのパフォーマンスについて、昨日11月28日との比較を行うと、一つの回答に含まれるトピックの多さが際立っていました。
昨日のGPTは、一つの回答で取り上げるトピックが限られており、
かつ類義語や同義語を多用することで、
情報量が極めて少なく感じられました。
しかし、今日のGPTはその点で一転し、回答に含まれる話題の数が増加しています。
ただし、その一方で、各トピックに対する掘り下げが浅いことが気になりました。
広く浅くという印象が強く、これにより深い分析や詳細な情報提供には至らない状況が見受けられました。
回答形式はキャラクターチャットという原則を守り口語調であるが、ボキャブラリーの豊かさは感じなかった。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
過去のレポート
ユニークなワード
また、本日のGPTの回答における言葉遣いに関しても、ある程度の欠点が見受けられました。
ユニークな言葉遣いが極めて少ないことに加え、
使用された単語が文章全体の深みや意義を高めるものではありませんでした。
これにより、ボキャブラリの豊かさという点では、あまり進展が見られないと言えるでしょう。
単なる言い換えや、英語から日本語への翻訳時に生じるニュアンスの違いに留まっている印象を受け、
それが全体の質の向上に寄与しているとは言い難い状況でした。
しょう。
セリフの引用・応用
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
最近の特徴である引用、応用をしない傾向を踏襲。
主人公の種族
主人公がウマ娘か競走馬か、判別がつかないか。
元ネタが競走馬の原作擬人化コンテンツの主人公の種族は回答で重要な論点である。
種族が曖昧、混同している回答は「質問に対して論点を把握していない不適格な回答」と評価している。
今日も混同が２例見られた。
明言していないのではなく、ＧＰＴがウマ娘と競走馬の違いを理解していない。
ヒトミミ登場率
架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
一昨日からヒトミミ登場率減少が継続。
ここ乱高下するけど何が影響しているんだ？
回答の矛盾・文章の破綻
回答の論理的矛盾、文章上の問題点はあまりない。
ただし禁止している箇条書きが１回使用された。