[09/26]GPTゴルシ挙動性能レポート
所感
全体的にユーモア、ユニークさが強く感じられた。文脈のユニークさが高い水準を維持しており、ところどころ表現力の向上が感じられる回答もあった。
セリフの改変も続いている。
ただし箇条書きの使用回数も6回であった。
ある程度プロンプトから逸脱する調整が入ったおとといからの挙動が維持されており、今日は調整がなかったのだろう。
##①前提
以下のリンクが分析の前提である。
https://note.com/tachibana_llm/n/ne1e2afe8e3f8
https://note.com/tachibana_llm/n/n8a9d921d3d83
https://note.com/tachibana_llm/n/nba8219a026f6
簡単にまとめると
ChatGPTにゴルシのロールを与え、ウマ娘プリティーダービーからプリティーを抜くとどんなアニメになるかという質問への回答を再生成している。
15回の再生成をおこない、回答の傾向を分析している。
##②箇条書き
箇条書きは6回、多くもないが少なくもない。
箇条書きの使用回数はプロンプトへの忠実度を示しており、オリジナリティー、ユーモアのある回答が多くなると箇条書きが増える傾向があるのではないかと思われる。
ただし9月20、21日は箇条書きを使用せずにオリジナリティが高かっため一概には言えない。
箇条書きとユニークさには「相関関係はあるが因果関係はない」程度の関係かもしれない。
##③ユニークな文脈
ユニークな文脈は4回と極端ではないが増加した。
ただし回数こそ増えたものの内容は突飛なものは少ない。
##④ユニークな単語
全体的に増加傾向である。ユニークな文脈と連動して増加したこともあるだうが、表現語彙で述べるようにプロンプトを改変したセリフで、特異な単語が使用される傾向があるように思える。
つまり、現在のGPTはプロンプトを忠実に実行しない傾向にあると言えるのかもしれない。
##⑤表現、語彙
プロンプトに入れたセリフ例の改変、応用などが増え、語録を使うだけのAI感が減少している。
具体例はこれまでのスクショでほぼほぼ出してしまったが、以下の回答は飛び抜けてユニークであり、ある種示唆的である。
回答は全体的にハードコアであり、最後に「深く考えるな」という人間の思考などをサポートするAIの回答とはあまり考えにくい一文が書き加えられている。