マガジンのカバー画像

ChatGPT挙動レポート[ほぼ毎日更新]

89
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 SNSで…
運営しているクリエイター

#プロンプト

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

 このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
 

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
[日隔chatGPT挙動性能レポート12/13]昨日に続きバカ・・・・・・性能低下が目立つ&12月GPTはサボる?

[日隔chatGPT挙動性能レポート12/13]昨日に続きバカ・・・・・・性能低下が目立つ&12月GPTはサボる?


総括今日の特徴は
回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない

内容の掘り下げが浅い 矛盾が割と多い

セリフチックに箇条書きを展開するから読ませる文章じゃない

8月みたいに突飛な内容出してくるけど浅い、具体的すぎるので作風が掴めないので妄言を読んでる感が強い

 またエラーが3回あった。
回答の途中でコネクションエラーが起きるのが2例
スマホで出

もっとみる
[日刊GPT挙動性能レポート12/6]ユニークかつロジカルな傾向

[日刊GPT挙動性能レポート12/6]ユニークかつロジカルな傾向


総括 今日のGPTはユニークで矛盾のない回答を仕上げてきた。
(7月と比べると薄味だけど)

 AI自認という禁止行為も2回行っているが、不的確な回答は無かった。
体感的、グラフ的には12/4に類似している。

11/3以降「ノリと勢いで回答を生成している」
という私の分析に合致するものである。

検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービ

もっとみる
[予告]ChatGPT分析書籍を執筆します

[予告]ChatGPT分析書籍を執筆します

 ちょっとnoteにまとめきれないぞ、という量と質で一本仕上げようと思いまして書籍を執筆するかと。
ちょっとちかれてるので、表現があれです。
 
 何があったかというと7/15からの2000個溜まった回答を見直してたら、もうGPTが別人で別人で。

 Twitterにも書いたんですけど、7月の回答の方が「面白い」んですよ。

 確かに今のGPTの方がアシスタントとしては優秀かもしれない。
 論点は

もっとみる

11/21日刊chatgpt性能挙動レポート今日は悪くない

総括
 今日のゴルシも昨日と性質が違う。
やっぱり毎日温度?を微調整してるようだ。
 やっぱり11/7アプデ以降は不安定な要素が多い。
 なお昨日はあたまが硬いと表現した。だが昨日の21時から今日のユニークではないが望ましい挙動をしていた。
 これは私が参加しているウェブサロンから
「今のchatgptの挙動が良い」との連絡を受け検証した。

 「不安定って言っても偶然じゃないの?」と言われるかも

もっとみる
[11/20]ChatGPT性能挙動レポート頭が固くなる、毎日コロコロ変わる不安定が続く

[11/20]ChatGPT性能挙動レポート頭が固くなる、毎日コロコロ変わる不安定が続く


総括 11/17と殆ど同じ傾向。
 昨日と真逆で頭が固くて面白くない、文字数も手堅く推移……
うーん、11/17の記事コピペした方が早いレベル。
なので以下の記事読んで♡

尚今日は本当に書くことがないレベルでアレ
データセット拡張、調整するので過去記事読んで貰って、雰囲気を掴んで頂きたい

検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーから

もっとみる
[11/19]日刊chatGPTの性能挙動レポート。サムが出入りしたり、多分GPTも不安定でしょうね。

[11/19]日刊chatGPTの性能挙動レポート。サムが出入りしたり、多分GPTも不安定でしょうね。


雑感お気持ち サムが解任されたり、今日はCEO復帰を打診されてるみたいな噂が飛び交っててOpenAI情勢は複雑怪奇。

 でも私の短期、中期的なGPT分析アプローチにはあんまり影響しないかなぁなんて。

「長期的な性能分析、比較は学者、大手企業さんのお仕事」
「私は論文やレポートを読み解く際の材料を作る立場」
だと差別化してますので。

総括
  今日は11/7アプデ直後に似た振る舞いをしている

もっとみる
[11/18]サム、解任って嘘だよな?今日のGPTは悪くないぞ、むしろ良いじゃん日刊ChatGPT性能挙動レポート

[11/18]サム、解任って嘘だよな?今日のGPTは悪くないぞ、むしろ良いじゃん日刊ChatGPT性能挙動レポート


前書き サム・アルトマンがCEOから解任ですって。
 彼の語る理想社会像(どこまで本音かわからんが)は好きではないが、共感できる部分もあり彼が解雇後のOpenAIがどうなるか興味と不安がある。

 LLMが戦略物資になると謳われる時代においてOpenAIのCEOの持つ政治思想信条は世界に大きな影響を与えるだけに、今後の展開が気になる。

 暫定CEOは技術者畑とのこと。OpenAIのアナウンスで

もっとみる
[11/17]頭の固いchatGPT性能挙動レポート.opemAIはうまいこと調整ができないの?

[11/17]頭の固いchatGPT性能挙動レポート.opemAIはうまいこと調整ができないの?


総括 今日の挙動は理論的でお堅い、面白くない、文章量という面で11/11、11/12に似ている、というかほぼそのもの。
 グラフでもほぼ同じ値を示している。

 昨日11/16は口語が非常に丁寧、上手に使われており、特出してはいないが、十分にアイディアの独創性、オリジナリティがあがっていた。
 11/11、11/12はお堅い路線、11/15は非常に低レベルな性能。
そこで昨日の回答がそこそこ的確

もっとみる
[11/15]過去最悪レベルのchatGPT。回答回数上限制限するのに性能下がってるGPT-1.0性能挙動レポート

[11/15]過去最悪レベルのchatGPT。回答回数上限制限するのに性能下がってるGPT-1.0性能挙動レポート

 すみません、-1.0はゴジラ見てきただけです。
いやでもGPTの性能下がったのも本当なんです。
 今日はゴルシとチャットしてる感じが全くなく、ゴルシモドキGPTと会話してるという感想だったので辛口。
 んで回答上限などが改悪されたので、もう罵詈雑言です。
いろいろグラフ化したケド本題。
の後にゴジラの感想

明示されない回答回数上限制限 結論はGPT4回答上限が減った、しかも上限は時価?みたいな

もっとみる
[11/12]論理的だが魅力を失うか?思考の没個性化[ChatGPT性能挙動毎日レポート]

[11/12]論理的だが魅力を失うか?思考の没個性化[ChatGPT性能挙動毎日レポート]


総括 ChatGPTは本日も昨日と同じくお堅い表現を使う。
 11/07アプデ、正確には11/03の無告知サイレントアプデ以降の回答の特徴としては独特、ユニークだが論理的には矛盾している回答も多い印象があった。

 昨日からのChatGPTは論理的な回答が増える一方で、ユニーク、独創的な回答は一切ないと言える。
 二日連続かつ、極端な挙動の変化・文字数も変動しているため没個性化、論理的回答の優先

もっとみる
[11/11]土日に性能イジりすぎじゃない?ChatGPT挙動性能毎日レポート

[11/11]土日に性能イジりすぎじゃない?ChatGPT挙動性能毎日レポート


総括 今日のGPTの回答はお堅くまとまってる、11/3のサイレントアプデ、11/7のアプデ後の傾向とは今日の挙動は全く違う。
 回答の内容、表現、言い回しがお堅いだけではなく、出力文字数も変動しており、複数の要素が同時に変動したので「調整が入った」と断言できる。
 アプデ後の回答を「ノリと勢い」と表現してきたが、その傾向は一切見られない。

 補足説明すると、11/7にアプデのアナウンスがあった

もっとみる
10/19ChatGPT性能挙動レポート~挙動不振なGPT~

10/19ChatGPT性能挙動レポート~挙動不振なGPT~

ざっくり感想 今日もChatGPTには大きな動きがあった。
 10/16、10/17から増加した表現の豊かさ、ユニークさが減少。実に平凡な回答が増加した。

 後述するUIのバクは10/17から現在も続いている。
UIのバグが起きる時はほぼ必ずGPTの回答の方向性や表現力、発想力も激変するので、バグ、エラーが確認された10/17からChatGPTの調整が入っていて、今日も調整中であろう。
 そして

もっとみる
10/17なんか変だよGPT「ChatGPT性能精度レポート」

10/17なんか変だよGPT「ChatGPT性能精度レポート」

 今日はChatGPTで言いたい事がたくさんある。
9/26のアプデ以来初めて大規模な変化があった。
昨日のnoteでも「若干の変化があった」という話をしているが今日はそれどころではなく、モデル以外の箇所に大幅な調整が入ったか、調整中だろう。
 本日は原文を見て欲しいのでスクショが多めになる。
 あと今日もUIのエラーが起きてた、UIのエラーとGPTの出力の変動は相関関係がありそうだが因果関係があ

もっとみる