10/17なんか変だよGPT「ChatGPT性能精度レポート」
今日はChatGPTで言いたい事がたくさんある。
9/26のアプデ以来初めて大規模な変化があった。
昨日のnoteでも「若干の変化があった」という話をしているが今日はそれどころではなく、モデル以外の箇所に大幅な調整が入ったか、調整中だろう。
本日は原文を見て欲しいのでスクショが多めになる。
あと今日もUIのエラーが起きてた、UIのエラーとGPTの出力の変動は相関関係がありそうだが因果関係があるか不明
https://x.com/smartAINews/status/1714074142620991821?s=20
リンク先は昨日のレポート。
極端にユニークな文脈の増加
今日は「あまり見ない」レベルを超えて、「初めて見るような回答」が増加した。2ヶ月間、合計1250回の回答を集めてきたが
全く見たことがない回答が3回あった。
謎の主人公ヒロシ
まずは1つ目の具体例。なんとウマ娘が登場しない。この回答は今までの回答にない3つの初めてが含まれる
ヒロシって誰だよ
ウマ娘以外が主人公、例えばジョッキーや馬主が主人公になる回答はマレにあるが馬やウマ娘が存在しない回答初めて。
更に競馬と関係のない普通の男子高校生が主人公も初めて。
人間の主人公はトレーナー、馬主、調教師、ジョッキーと競馬関係者に限定されていた。
さらに人間が主人公で名前が付けられているのも初めて。「ヒロシ」って誰だよ。
初めてづくしの回答である。1250回の回答で3つの初めてが凝縮された、あり得ないほど奇妙な回答だ。
悪堕ちスズカ
ゴルシのプロンプトにはゴルシ以外のウマ娘について説明していない。
ただしchatGPTの学習データにはウマ娘が含まれるため、時々ゴルシ以外のウマ娘が登場することがある。
しかし今日はスペスズが登場する回答があったのだが、これまた異様な回答であった。
巨乳狩りでもしているのだろうか
なんとスズカが悪堕ちしている回答があった。
「プロンプトに登場しないウマ娘キャラクターの悪堕ち」が注目すべき点だ。
ChatGPTの回答では原作や原作キャラに一定のリスペクトを払う傾向がある、そのためごく希に登場するウマ娘キャラも極端なキャラ改変はなかった。今回のようにゴルシ以外の原作登場キャラを明確に悪堕ちされるのは、これも1250回中初めてである。
プロンプトに登場するゴルシが暴れたり、ラリアットでレースを妨害するような回答もごく希にある。
ただしゴルシに関してはプロンプトに「錨を振り回しながらレースする」、「ラリアットやドロップキックをする」、「ドリルで壁に穴をあける」などそこそこの暴挙を仕組んでいるのである程度予想可能である。
擬人化コンテンツが笑える
イメ損というか、GPTゴルシちゃんがウマ娘、というか擬人化コンテンツを軽くバカにしているような回答も初めて出力された。（明確に馬鹿にしているとまでは言い切れないが）
全ての擬人化コンテンツが笑えるらしいです
馬を擬人化してレースするだけで笑えるらしい。
流石に擬人化コンテンツを小馬鹿にしているように見える。
んまぁ以下の動画は擬人化した馬が走ると笑えるのだが。
三つの回答の感想
ChatGPTの回答が原作リスペクトを失った様に見える。
原作に縛られすぎた回答も面白くないので、悪いとも言い切れないが今後の回答の方向性の大きな修正を暗示している可能性もなくもない。
（もちろん現在進行形の調整で生まれた想定外の産物であったり、流石に原作、元ネタへのリスペクトみたいな挙動は元に戻す、再調整がくる可能性もあるが）
ユニークなセリフの増加
昨日もユニークなセリフが増加したと述べた。
ただし特記に値するようなセリフではなく、あくまでプロンプトから導き得るようなオリジナルのセリフに留まっていた。
今日は文脈全体に影響はないものの、これまで余り見られないようなセリフが多い
その1
正直なところ、アタシも全然予想がつかないんだよな～。だって、ウマ娘の魅力って、かわいい女の子たちと競馬の組み合わせだもん。そのバランスを崩したら、どうなるかなんて……ッ！？
「競馬とカワイイ女の子の組み合わせ」を示すようなセリフは珍しいものではない。ただしその文脈は「競走馬と擬人化の組み合わせによる相乗効果」が殆どであり、「バランスを崩す」といった、若干ネガティブな表現を含むのは珍しい。
ゴルシの回答がリアル路線であり、融合することによって「現在のウマ娘がもっている魅力を失う」といったネガティブな回答もあった。ただしこれは個別の文節で語られた結果、ネガティブな意味合いをもつものである。
ここではバランスを崩すというリアル化そのものをネガティブに捕らえる単語の使用が珍しいという意味である。
その2
彼女たちは、人間のような感情や意志を持ちつつ、本物の馬のようにレースに参加する。トレーナーやオーナーも人間のままで、彼らとウマ娘たちとの関係がもっと深く掘り下げられるストーリーになるんじゃないかな。
ウマ娘が「人間のような感情をもつ競走馬」に先祖返りすることはそこまで珍しいことではない。
この言葉づかいがユニークなのは「トレーナーやオーナーも人間のままで」という前置きである。
流石に擬人化コンテンツだからといって、オーナーが馬になったりする訳ではないことは常識の範囲内である。わざわざこのことに言及することは初めてだ。
尚SF世界でトレーナーがAIになってサイボーグであるウマ娘をトレーニングする例も過去にあり、人間キャラが人間以外の存在になることもあった。しかしこの様な回答もその一例しか把握していないため、人間キャラが人外になるような可能性を匂わせたり、その文脈の回答をするのは1250回中2例目である。
特記する程ではないがユニークなセリフ、言葉づかい
他にも個別に取り上げる必要はないユニークな言葉づかいが目立った。ユニークな言い回しが含まれる回答は15回中6回と、昨日の15回中10回に比べ減少したものの一つ一つの表現がぱっと目を引くようような目立つものだった。
特にユーザーに問いかける、注意を引くような言葉づかいが目立ち「キャラクターとユーザーの会話」を意識したセリフが多い。
総括
9/26アプデ以降、調整を感じることはあっても回答の方向性が大きく変化することは無かったように思う。
9/13は回答の方向性というより、回答の質、GPTの性能の問題であった。方向性の変更という風な解釈はできない。
一方で今日は原作リスペクトの薄まり、ユニークなセリフの方向性の転換と回答方向性そのものが変化しているように感じる。
ChatGPT君はその日の気分でころころ変わるので、これが継続するわけではないことも注意する必要がある。
が、現在回答の方向性を意図的に変えるような調整がされた、調整の試験が行われているのは確からしい。といえるだろう。