- 運営しているクリエイター
2023年10月の記事一覧
［10/31］アプデ後、最悪の性能。ChatGPT性能挙動レポート
今日はchatGPTの性能が著しく低下している。
９月２５日のアプデ後に起きた極端な低下は１０月１３日に確認されているが、総合的な能力は今日のChatGPTの方が低く、性能はアプデ後最悪の水準といえる。
実際、ＧＰＴの回答を見ていてつまらないどころか嫌気がさしたレベルである。
なお片頭痛が激しいため、いつもよりも文章に乱れがあるかもしれない。
最近の推移
先週金曜から日曜にかけて性能が
![[10/30GPT挙動性能レポート]予想は微妙に外れた、奥歯にものが挟まったような･･････](https://assets.st-note.com/production/uploads/images/120290762/rectangle_large_type_2_c8ccdfbee6a0c657f77d4e155bc387ad.png?width=800)
[10/30GPT挙動性能レポート]予想は微妙に外れた、奥歯にものが挟まったような･･････
昨日はドヤ顔で「性能アップだ！よっしゃ！他の機能でアプデが来たからこの路線は確定！」と騒いだが･･････
うーん、今日の回答ではその予想は外れたような、外れてないような･･････
金曜日の性能アップ路線以降と比べると今日は物足りないが、金曜以前ともちょっと違う。
複数の要素が同時に変動しているために今日のデータだけでは明確な判断できない。
過去の「短期間の調整による挙動変化」という
![[10/29]（妄言だった）アプデ予想を超え！性能挙動がパワーアップしたChatGPT解説](https://assets.st-note.com/production/uploads/images/120235605/rectangle_large_type_2_4297dec29411332a615874a4d1e299cc.jpeg?width=800)
[10/29]（妄言だった）アプデ予想を超え！性能挙動がパワーアップしたChatGPT解説
前置き 10/27金曜日から「GPTの性能挙動が良い方にかわった」と唱えつつづけてきた。
但し「その挙動の変化は短期的なものであろう」という前置きを置いていた。
その前置きをぶっ飛んだ結果が生まれた。
今日、「画像認識、生成周りでアプデが入った」という一報。
文章での応答以外でもアプデが入ると、本業の文章の方もアプデで今後この方向性が推移するってのはほぼ確定なんですよ。
性能上がって
![[ビジネス・論理的思考能力]ゴルシGPTの分析で何がわかるか？前編](https://assets.st-note.com/production/uploads/images/120145169/rectangle_large_type_2_2d6d3eb8bf19e96ba02e02b3dbd05e3e.png?width=800)
[ビジネス・論理的思考能力]ゴルシGPTの分析で何がわかるか？前編
ちょと短めの記事だが、私の分析レポートをどのように解釈すべきか一つの説明を加える。
私の分析はゴールドシップのキャラロールとのチャットを分析している。
ぱっとみオタクの戯れに見えるかもしれないが、
この分析はGPTをビジネス、日常でのチョットした利用についても示唆的な内容を含んでいる。
①GPTの立案能力に関する分析 ゴルシGPTには架空のスピンオフアニメを説明させている。
新しいアニメ
![（！予想当たり！）[10/28]調整が確定したChatGPT性能挙動レポート](https://assets.st-note.com/production/uploads/images/120112351/rectangle_large_type_2_087a4fe5c191899053d0f60f996b6746.png?width=800)
（！予想当たり！）[10/28]調整が確定したChatGPT性能挙動レポート
昨日のレポートで短期的な調整が入っているだろうという予想をしたが、今日の結果は調整の予想を裏付けるものであった。
※追記※
2023/10/29にアプデが来ました。調整入ったのは当たり。
短期的な調整はハズレ。
ジャスティンパレス切ったみたいなものですね。
総括 昨日の調整からChatGPTが普段よりユニーク、独創性が高い傾向がみられる。
全体的に表現に幅が生まれつつ、単なる表現がユニ
![[10/27]今日は独創的な傾向か？ChatGPT性能挙動レポート](https://assets.st-note.com/production/uploads/images/120021846/rectangle_large_type_2_745bfed497983219f80a5f02bcb3e3f4.png?width=800)
[10/27]今日は独創的な傾向か？ChatGPT性能挙動レポート
総括 今日のGPTは独創的な傾向が強い。
ユニークなワードの使用率が高く、適切に使用し、文脈を崩壊させていない。
プロンプトから人格を作り上げて全く独自のセリフを作っている。
セリフ例を応用した回答が9/25アプデ以降増加していることを昨日のnoteで統計的に証明したが、全く独自のセリフのみを使用する傾向は珍しい。
ちなみに「昨日からGPTが独創的だ」という情報が友人からもたらされ
![[10/26]アプデから一ヶ月間のchatGPT性能挙動レポート②](https://assets.st-note.com/production/uploads/images/119951126/rectangle_large_type_2_bfecbf295a72c6e8a4d71c7b95ed450a.jpeg?width=800)
[10/26]アプデから一ヶ月間のchatGPT性能挙動レポート②
ChatGPTが9/25にアプデされてから一ヶ月。アプデ前後でキャラクターチャットに変動があるか検証を行った。
キャラクターチャットのみの分析であるが回答の論理性、表現能力、独創性の目安になりGPTをビジネスなど他の分野で使用する際に参考になるかと思う
これは9/25のGPTアプデ後一ヶ月間の挙動を分析したレポート。
レポート前編が未読の方は以下の記事を見て頂きたい。
ざっくり説明する
![[10/25]アプデから一ヶ月間のchatGPT性能挙動レポート①](https://assets.st-note.com/production/uploads/images/119854753/rectangle_large_type_2_ddc7d186747913c6a9f6821b9924862d.png?width=800)
[10/25]アプデから一ヶ月間のchatGPT性能挙動レポート①
chatGPTで9/25にアプデが入った、画像生成とかが目玉のようだが文章出力にも変化があった。文章出力についてレポートする。
くっそ長いので明日続きを書く。
分析対象はいつも通りゴルシGPTである。
ざっくり説明するとウマ娘ゴールドシップのロールを与えたChatGPT４に「ウマ娘プリティーダービーからプリティーを抜いた新アニメ」を考え、説明させている。
具体的な質問文は以下のスクショ
10/23予想外れ？変質ChatGPT挙動性能レポート
今日のGPTは数値化できないユニークな傾向が見られた。
10/21に「UIバグが落ち着いたからChatGPTも安定するだろう」
10/22では「21、22は平凡な回答が多かったから23以降も平凡な回答になるだろう」という山師的な予想をしたが、特徴的な回答が目立ち、平凡化するという予想が外れた形になった。
総括
このレポートの元になるのはゴールドシップに「ウマ娘プリティーダービー」から「プ
10/22安定化か？ChatGPT挙動性能レポート
昨日、UIのバグが修正されたことをもって山師的な大胆予想で「ChatGPTはしばらく安定するのでは？」と予想した。
今日のところは昨日とあまり変動がなく、今日の所予想は当たった。
驚き屋どもと違って私は手を動かして予想しているからね
（外したらクソ恥ずかしい
昨日の記事
https://note.com/tachibana_llm/n/n171d509501c1
安定化した要素1「セ
10/21ようやく落ち着くか？ChatGPT挙動性能レポート
10/17から続いた連番表示バグがようやく治った。ChatGPTをPC、スマホで使用しようとすると致命的なバグであり、4日も修正に時間が掛かったのは異例では？詫び石よこせOpenAI。
後ほどグラフを出すが、UIバグが起きた10/17から10/20までの間、PCとスマホの回答の傾向が解離しており、「UIのエラー≓ChatGPTの不安定化」と判断する理由にもなっている。
これまでのUIバグが
10/19ChatGPT性能挙動レポート~挙動不振なGPT~
ざっくり感想 今日もChatGPTには大きな動きがあった。
10/16、10/17から増加した表現の豊かさ、ユニークさが減少。実に平凡な回答が増加した。
後述するUIのバクは10/17から現在も続いている。
UIのバグが起きる時はほぼ必ずGPTの回答の方向性や表現力、発想力も激変するので、バグ、エラーが確認された10/17からChatGPTの調整が入っていて、今日も調整中であろう。
そして
10/18やっぱり何か変わったChatGPT性能挙動レポート
今日もゴルシGPTからの回答を分析する。
質問はこんな感じ。
昨日の記事は↓
https://note.com/tachibana_llm/n/n75a13107d8be?sub_rt=share_pw
まとめ 昨日からGPTに調整が入ったのは間違いない。
他の回答であまり見られないユニークなフレーズ、セリフ、単語の使用が増えた。これらの使用回数増加により比較的型破りと感じられる回答