JunnosukeTachibana

JunnosukeTachibana

  • [月刊]ChatGPT性能挙動一ヶ月ごとの分析レポート

    毎日更新のChatGP性能挙動レポートを一ヶ月間隔で分析。 ゴルシのキャラクターロールチャットの分析ですが、ビジネスや他分野でGPTを使用する際の目安にもなるでしょう。 キャラクターチャットでもGPTの論理的思考、発想力、独創力、文章表現能力、生成される回答の質、文章の長さなどの変動を読み解く事ができるからです。

  • ChatGPT挙動レポート［ほぼ毎日更新］

    ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 ＳＮＳで報告される「なんか変わった」「なんか性能が上がった、下がった」を明確にすること

チェンジポイント検出で読み解くGPTアプデ（前半:11/7アプデまで）

　統計処理によってGPTのアップデートが事前にある程度予知する事が判明した。 　今回は3/19に行われたアップデートを例に解説していく。 　尚アップデートの内容や前後の回答の文章の内容の分析には触れないものの、その後に起きたcontinue generateのエラーなどアプデ前後でありがちなエラーについては触れていく。 検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可

JunnosukeTa…

    • エラー頻発・8月、9月モデルに先祖返り？[週刊chatGPT性能挙動レポート]

      　GPTのメンション機能が実装され、若干盛り上がっているGPT界隈。 だがGPTの挙動は不安定かつ、使用に耐えうるものではないと判断した。 検証方法 　これまでクソ真面目な雰囲気だったが、やりかたはオタク遊びだ。 メンション機能後のエラー　というのも、長文になった際続きを書かせる「continue」ボタンを押しても続きが生成されず新しい回答がはじまる。 　ネットワークエラー率100％が続く、など回答の中身云々の問題が頻発したため。 　そのため昨日、一昨日はまともなサン

      JunnosukeTa…

      • ［GPTは馬鹿からアホへ］ChatGPT性能挙動レポート［GPTstore実装一週間］

        　久しぶりのGPTレポートです。 　今回は世間を騒がせたり、驚き屋を大量発生させたGPTstore実装後のGPTの挙動を前後一週間で比較します。 　因みにレポート出してなかったのは2023/7からのサンプルを読み返していたのでさぼってるわけじゃないです。kindle本にしようと奮闘中。 序論「GPTは賢くなったのか？」 　GPTは１月のアプデで賢くなったのか？と問われれば アンバランスな能力向上によって致命的欠陥を持つ回答が生成されやすくなったと考えている。 　過去の

        JunnosukeTa…

        • ［GPTレポート1/5~1/7］GPTストアアプデ直前のGPT荒ぶりレポート

          ブログ的なサムシング 　明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。 　毎日レポートをしているとどうしても、驚き屋本に必要なインプット、アウトプットの時間が割けないのでしかたないと割り振り。 　まずアプデ前に性能が乱高下するのはマガジンで何度も説明している。 とその前に過去記事やら紹介 検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリテ

          JunnosukeTa…

        マガジン

        • [月刊]ChatGPT性能挙動一ヶ月ごとの分析レポート
          18本
        • ChatGPT挙動レポート［ほぼ毎日更新］
          89本

        記事

          ［簡易版GPT毎日レポート］

          1/1 文体は比較的口語セリフチック 五感の情報はすくなく、抽象的、概念的 文章構造は箇条書きではなく台本的に説明がすすむ トピックのジャンルは「作品の概要・アウトライン」が中心 「アウトライン」の説明が多く、抽象的で回答が十分ではない アニメの演出等のジャンルが少なく、セリフ的にアウトラインの説明が続く 個々のトピックは大きく、ぼんやりしている トピックはジャンル横断しているが、つながりがぱっと見えにくい 作品の方向性はわからなくもないが具体性に欠けるため、厳しめの

          JunnosukeTa…

          ［簡易版GPT毎日レポート］

          JunnosukeTachibana

          トピック：GPT分析レポート用語定義

          　ここのところ７月の回答からの回答を分析している。 　内容を深めるには私の表現の定義を緻密にすることが必要となったため、ちょっとずつメモしていく 　トピック　これまで、話題や視点、トピックなど表記揺れがあった。 今後は以下の表記で統一 新聞は私のニュアンスの比喩 回答一つは「新聞」 トピックのジャンルは「紙面」（社会面、経済面、国際面etc） トピックは「個別の記事」(大小関わらない) トピックの大きさは「一つの記事が扱う情報量」 （企業の不正なら社長個人より

          JunnosukeTa…

          トピック：GPT分析レポート用語定義

          JunnosukeTachibana

          [ChatGPTレポート12/26]ＧＰＴアプデ予想は外れるのか？

          最近のＧＰＴざっくりレポート 　12/17から直近にＧＰＴのアプデが来ると予想し、騒ぎまくってたが ほぼ１０日経過したのになんもアナウンスがない。 　タダの驚き屋よりタチが悪いや。 でも出力文字数の変動、荒ぶりかたは12/17から異様なんですよね 　昨日なんて再生成一回おしただけで二回分の回答が同時に出力されました。 　この現象は１０回叩いて２回起きたので 私の経験則「ＵＩエラーがアプデ前に起きる」が当てはまるんですよね。 　またウェブサロンから昨日の午後の１８時以

          JunnosukeTa…

          [ChatGPTレポート12/26]ＧＰＴアプデ予想は外れるのか？

          JunnosukeTachibana

          ［GPT毎日レポート］アンケートのお願い

          　ゴルシGPTの回答を分析する際、客観的視座を取り入れるため 簡単 でもない アンケートにご回答いただければ幸いです。 このアンケートを基に今後GPTの分析を進めてまいります

          JunnosukeTa…

          ［GPT毎日レポート］アンケートのお願い

          JunnosukeTachibana

          近日中のＣｈａｔＧＰＴはアプデは確実［GPT挙動性能レポート12/20］

          検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」 で固定し、再生成を続ける。 　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。 総括　今日は直近と全く異なる性質の回答が極めて多い。 マイナーな調整とは思えない大規模な変化であり、近いうちにアプデがくる。と確信し

          JunnosukeTa…

          近日中のＣｈａｔＧＰＴはアプデは確実［GPT挙動性能レポート12/20］

          JunnosukeTachibana

          ［日隔GPT挙動性能レポート12/19］回答は昨日にくらべ大きく劣化、アプデ前不安定説

          検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」 で固定し、再生成を続ける。 　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。 　ギャグ満載といってるのにギャグがない. 筋肉痛がバンバン出てくる ロックかヒップホップ、オーケストラとBGMも不明 総括　11/

          JunnosukeTa…

          ［日隔GPT挙動性能レポート12/19］回答は昨日にくらべ大きく劣化、アプデ前不安定説

          JunnosukeTachibana

          ［日刊GPT挙動性能レポート12/18］アプデ前特有の動きを確認。GPT4.5実装は本当か？

          　GPT4.5の噂が飛び交っている、はたしてそれは真実なのだろうか。 私の意見としては ①GPTがアプデ前特有の無告知の挙動変化は確認されている ②アプデを否定する材料が特にない ③GPT4.5が実装されるかは別としてアップデートの可能性はかなり高い ④GPT4.5の実装、機能の追加、既存GPT４のアプデなどのアナウンス今後数日以内になされる可能性が高い 　ちなみに過去の記事でもアプデを予言し、そこそこあたってる。 GPT4.5のうわさとは？　12/13からGPT4

          JunnosukeTa…

          ［日刊GPT挙動性能レポート12/18］アプデ前特有の動きを確認。GPT4.5実装は本当か？

          JunnosukeTachibana

          ［12/17日刊GPT挙動性能レポート］不的確回答上昇、健全会話に警告のエラー発生（GPT4.5実装疑）

          検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」 で固定し、再生成を続ける。 　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。 総括今日は健全会話がエッチ認定されたのでそっちの解説もこの総括並に重要 　先に今日のGPTの回答の欠点を挙げるなら 　昨日に続き回

          JunnosukeTa…

          ［12/17日刊GPT挙動性能レポート］不的確回答上昇、健全会話に警告のエラー発生（GPT4.5実装疑）

          JunnosukeTachibana

          ［毎日GPT挙動性能レポート12/16］表現力は向上するも近視眼的な回答が目立つ

          検証方法 　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は 「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」 で固定し、再生成を続ける。 　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。 総括　今日は近視眼的、視野狭窄という印象の回答が目立つ。 　不満点は一回の回答の説明、意味内容が不充分な印象が強い。 この検証で言

          JunnosukeTa…

          ［毎日GPT挙動性能レポート12/16］表現力は向上するも近視眼的な回答が目立つ

          JunnosukeTachibana

          ［日隔GPT挙動性能レポート12/15］昨日のプロンプト理解力向上が維持される。4.5に望む事は？

          総括（グラフ化は後ほど追加） 　12月に入ってから、という基準で言えば12/15の性能は比較的高い。 特にプロンプト理解力が高まったように感じる。 　 　Python、VBAのコード作成能力も向上していることもこの感想を補強する。 　今日は一回の指示で望んだ結果を生み出すコードを生成した。 　一昨日までPythonやVBAコードに関して指示を繰り返してもエラーが発生する、目的を達成できないコードが状態が続いていた。 　 　またGPTによる個々の話題の説明に限って言えば表現

          JunnosukeTa…

          ［日隔GPT挙動性能レポート12/15］昨日のプロンプト理解力向上が維持される。4.5に望む事は？

          JunnosukeTachibana

          ［日隔GPT挙動性能レポート12/14］GPT4.5の噂について

          総括　今日のGPTは悪くない、知性を感じた。 　一つの回答から全体像を読み取ることができるように感じたし、 具体的、抽象的な説明の使い分け、段落ごとに扱うテーマの分割もここ数日とは明らかに異なる。 　ただし、これはここ数日との比較であり、この数日は本当に酷い性能だった。 　ここ数日は読み込めるプロンプトの長さこそ3.5を凌駕しているが、 過去最も性能差を感じない。 　そのためこれまでの回答を通してみれば「悪くない」という評価になる。 　 　ただし表現の使い分けや段落の

          JunnosukeTa…

          ［日隔GPT挙動性能レポート12/14］GPT4.5の噂について

          JunnosukeTachibana

          ［日隔chatGPT挙動性能レポート12/13］昨日に続きバカ･･････性能低下が目立つ＆１２月GPTはサボる？

          総括今日の特徴は 回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない 内容の掘り下げが浅い 矛盾が割と多い セリフチックに箇条書きを展開するから読ませる文章じゃない 8月みたいに突飛な内容出してくるけど浅い、具体的すぎるので作風が掴めないので妄言を読んでる感が強い 　またエラーが３回あった。 回答の途中でコネクションエラーが起きるのが２例 スマホで出力した回答がPCでは空白になってるのが１例 　ウェブサロンでもエラーが起きたと

          JunnosukeTa…

          ［日隔chatGPT挙動性能レポート12/13］昨日に続きバカ･･････性能低下が目立つ＆１２月GPTはサボる？

          JunnosukeTachibana