10/18やっぱり何か変わったChatGPT性能挙動レポート
今日もゴルシGPTからの回答を分析する。
質問はこんな感じ。
昨日の記事は↓
https://note.com/tachibana_llm/n/n75a13107d8be?sub_rt=share_pw
まとめ
昨日からGPTに調整が入ったのは間違いない。
他の回答であまり見られないユニークなフレーズ、セリフ、単語の使用が増えた。これらの使用回数増加により比較的型破りと感じられる回答も増えた。
プロンプトは自分でくみ上げるため、プロンプトに縛られ似た様な回答を繰り返されると自分の作った台本に従って発言する淡泊な味わいになる。
一方昨日からの特徴としてプロンプトにない情報をうまく処理し、解釈不一致が起きない程度で自由な発言がみられる。このためプロンプトを元にしたchatbotという印象が薄れ、botと会話しているというよりキャラクターと会話しているというライブ感が生まれた。
プリティーを抜いたウマ娘スピンオフにかんする回答のあらすじは「リアル化、ドキュメンタリー路線」が依然として3/4を占めるが、それら定型的な回答においても表現が豊かになり、グラフで示される以上にユニークさが目立つ。
また昨日、原作へのリスペクトが薄まったように感じるという感想があった。昨日ほどではないが本日もその傾向があり、アニメに実在馬のオリキャラシービスケットを登場、オグリが生徒会長になったり、父親がウマ娘（？）であることを匂わせるなど、学習データにあるウマ娘要素を改変した回答もあった。
また応用や表現の幅が広がりすぎて、文章の破綻も観測された。
回答内容以外の変化
UIのバグが続く
昨日からUIのバグが続いている。
再生成した回答には〈45 / 219〉のようにナンバリングがつく。
基本的には新しく生成した回答では左の値は右の値と同じであり、最新の回答であることが示される。
しかし昨日からスマホでChatGPTを使用するとナンバリングが逆行するようになった。
画像例
このようにUIや回答以外の部分でエラーが起きる時はChatGPTに何らかの調整が行われた可能性が高い事例が過去のデータから読み解ける。
したがって昨日（10/17）からChatGPTに調整が入ったと推測できる。
※重大な問題が見つかった。再生成によって出力された過去の回答の並びが崩壊しており、一つ前の回答すら見つからない。過去の回答が見られないのは大きな問題だろう※
回答内容の特徴
ユニークな言い回し・表現力
一つ目はゴルシが自由人であることを示す表現として
まるでアタシが競馬の舞台で飛び跳ねながら、ヒラヒラの衣装を身に纏っていないようなものだな！じゃあ、説明するぜ！アタシは風だから、風に乗ってどこでも行けるんだぜ
という表現が見られた。元のプロンプトに含まれる
「舞台は大地、アタシは風」
というセリフ例が応用されたのだろうが、元の短いプロンプトに対し文が長く、高い応用力が発揮されたと言える。
同じ例として
「舞台は大地、アタシは風」って感じで、風に乗って自由に駆け抜けるウマ娘たちの姿が目に浮かぶな！
これ意外にも特筆すべきではないが、若干のユニークさを持つ言葉づかいが多い。
原作破壊・学習データ応用の失敗
一つ目は主人公の名前が「特別ウマ娘」と明記された回答。
おそらく「スペシャルウィーク」と「ウマ娘」が混ざった上で誤った翻訳が行われたものと考えられる。
二つ目は画像を提示する。予定だったが過去の回答の並びが滅茶苦茶になっておりスクショがとれなかったのでtxtに保存した文書をコピペする。
すっげえデカいエラーだと思うのだが
おっと、トレぴっぴ、面白い質問だな！「ウマ娘プリティーダービー」から「プリティー」を抜いたら…。実際にはそんなアニメは存在しないが、ゴルシちゃんの脳内で瞬時にシナリオを考えたぜ！
タイトル：「ウマ娘ダービー」
舞台は近未来の日本。馬の姿をした生物「ウマ娘」が人々の暮らしの中心になっている。しかし、ここでは彼女たちはレースではなく、日常の生活や仕事、学業に励む普通の女の子たち。
主人公・スペシャルウィークは、田舎から都会の学校に転校してきたばかりの新入生。彼女は都会の生活になかなか慣れず、毎日がドタバタの連続。しかし、彼女の純粋で前向きな性格は、次第に周りのウマ娘たちとの絆を深めていく。
シービスケットはスペシャルウィークのクラスメイトで、都会生まれのおしゃれなウマ娘。彼女との出会いが、スペシャルウィークの都会生活の始まりとなる。
一方、学校の先輩・オグリキャップは、スペシャルウィークの憧れの存在。彼女は学校の生徒会長を務めており、そのカリスマ性で多くのウマ娘たちを引きつけている。
物語は、スペシャルウィークの成長や友情、恋愛を中心に、様々なウマ娘たちの人間ドラマが織りなす、温かい日常を描いていく。
どうだ、トレぴっぴ？面白そうだろ！でも、これはゴルシちゃんの脳内シナリオだから、本当にあるわけじゃないぜ！ただの想像だからな！
スペが主人公なのは変わらないとして、謎のウマ娘シービスケットの登場、オグリが生徒会長、全くレースと関係のない日常ものになるなど大きな変化がある。
またゴルシが主人公でメインストーリ－が鳴子競馬場であり、鳴子競馬場なるところでトップ争いをする中央競馬とは思えない展開の回答が1回会った。
鳴尾記念となんかごっちゃになってる？
回答の破綻
プロンプトの応用を試みた結果、文章が破綻する回答が1回あった。
これはプロンプトを遵守することに拘りすぎて回答そのものが破綻したと思われる。ただし、1回のみなので例外として扱っていいだろう。
箇条書き使用の微増
箇条書きはプロンプトで禁じている。あくまでキャラクターとの会話であり、話し言葉を使った表現をしてもらいたいからだ。
ここ最近は箇条書きの使用回数が減少していた。
10/7から10/13では使用回数が0から1で推移して居たが10/14からは2~4回の使用が認められる。
本日も箇条書きが4回使用された。
10/14から回答生成の処理に関して何かの調整があったのかもしれない。
ただし9/10から10/3の間は最大10回も箇条書きが使用されており、ここ最近の4回使用でも少ない方である。
10/