マガジンのカバー画像

ChatGPT挙動レポート[ほぼ毎日更新]

89
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 SNSで…
運営しているクリエイター

#ゴルシ

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

 このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
 

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
[10/31]アプデ後、最悪の性能。ChatGPT性能挙動レポート

[10/31]アプデ後、最悪の性能。ChatGPT性能挙動レポート

 今日はchatGPTの性能が著しく低下している。
 9月25日のアプデ後に起きた極端な低下は10月13日に確認されているが、総合的な能力は今日のChatGPTの方が低く、性能はアプデ後最悪の水準といえる。
 実際、GPTの回答を見ていてつまらないどころか嫌気がさしたレベルである。
 なお片頭痛が激しいため、いつもよりも文章に乱れがあるかもしれない。

最近の推移
 先週金曜から日曜にかけて性能が

もっとみる
[10/30GPT挙動性能レポート]予想は微妙に外れた、奥歯にものが挟まったような・・・・・・

[10/30GPT挙動性能レポート]予想は微妙に外れた、奥歯にものが挟まったような・・・・・・

  昨日はドヤ顔で「性能アップだ!よっしゃ!他の機能でアプデが来たからこの路線は確定!」と騒いだが・・・・・・
 うーん、今日の回答ではその予想は外れたような、外れてないような・・・・・・
 金曜日の性能アップ路線以降と比べると今日は物足りないが、金曜以前ともちょっと違う。
 複数の要素が同時に変動しているために今日のデータだけでは明確な判断できない。
 過去の「短期間の調整による挙動変化」という

もっとみる
[ビジネス・論理的思考能力]ゴルシGPTの分析で何がわかるか?前編

[ビジネス・論理的思考能力]ゴルシGPTの分析で何がわかるか?前編

 ちょと短めの記事だが、私の分析レポートをどのように解釈すべきか一つの説明を加える。

 私の分析はゴールドシップのキャラロールとのチャットを分析している。
ぱっとみオタクの戯れに見えるかもしれないが、
この分析はGPTをビジネス、日常でのチョットした利用についても示唆的な内容を含んでいる。

①GPTの立案能力に関する分析 ゴルシGPTには架空のスピンオフアニメを説明させている。

新しいアニメ

もっとみる

[はじめに]ChatGPT性能・挙動レポートプロンプト解説

ゴルシプロンプトの概要

 今回は私が質問を与えているウマ娘キャラクターゴルシのプロンプトの概略を説明する。
 ウマ娘は二次創作に厳しい制約があり、全文を公開することは躊躇われるので概要にとどめる。

 ゴルシプロンプトは以下の要素から構成され、合計2050文字である。
意外な事にこのプロンプトでは「ゴルシ」がウマ娘のキャラクターであることを一切説明していない。ということに気が付いた。
 ゴルシG

もっとみる
[9/17]ChatGPT性能・挙動レポート

[9/17]ChatGPT性能・挙動レポート

※昨日はGPT分析を行わず、休日とした。ただし回答生成は行っており、9月17日の挙動を9月18日に分析したものである。
 ヘッダーは適当に育成したウマ娘でLOHプラチナ2がとれたものである。
チャンミより歯ごたえがなく廃課金にはつまらないイベントな気がする

所感

 箇条書きが減少した。
 回答の方向性としてはユニークな文脈、単語の使用が増えている。
 またファン層やグッズの路線など若干商業より

もっとみる
[9/18]ゴルシChatGPT4性能・挙動レポート

[9/18]ゴルシChatGPT4性能・挙動レポート

所感
 プロンプトに台詞例を含めているが、セリフ例に関係ないユニークな言葉遣いが多い。
この傾向に比例するようにゴルシのセリフ例を使用しないオリジナルの回答も増えている。ゴルシGPTが生き生きとしている手ごたえがある、人によっては解釈違いだろう。
 ただしオリジナルのセリフも個人的にはゴルシの解像度が高いように感じる、キャラクターと会話することが目的なら良い傾向だろう。
 ただし単に表現力が上がっ

もっとみる