マガジンのカバー画像

[月刊]ChatGPT性能挙動一ヶ月ごとの分析レポート

18
毎日更新のChatGP性能挙動レポートを一ヶ月間隔で分析。 ゴルシのキャラクターロールチャットの分析ですが、ビジネスや他分野でGPTを使用する際の目安にもなるでしょう。 キャラク…
運営しているクリエイター

#AIとやってみた

[日隔GPT挙動性能レポート12/19]回答は昨日にくらべ大きく劣化、アプデ前不安定説

[日隔GPT挙動性能レポート12/19]回答は昨日にくらべ大きく劣化、アプデ前不安定説


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

 ギャグ満載といってるのにギャグがない.
筋肉痛がバ

もっとみる
[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

 GPT4.5の噂が飛び交っている、はたしてそれは真実なのだろうか。
私の意見としては
①GPTがアプデ前特有の無告知の挙動変化は確認されている

②アプデを否定する材料が特にない

③GPT4.5が実装されるかは別としてアップデートの可能性はかなり高い

④GPT4.5の実装、機能の追加、既存GPT4のアプデなどのアナウンス今後数日以内になされる可能性が高い

 ちなみに過去の記事でもアプデを予

もっとみる
[chatGPT定点観察]7月と12月のGPT4比較

[chatGPT定点観察]7月と12月のGPT4比較


総括 GPTの回答の変遷を同人誌かなんかにまとめたい、
ということで7月と12月の回答を比較していた。

 感想としては明らかに7月と12月には回答の質が異なる。
 100個ほど比較したが、もうすでにランダムに抽出した7月と12月の回答を判別できるようになった

簡単にまとめると

台詞再現というかキャラクターの口調の模倣 12月>7月

人間としゃべってる感 12<7

一回答内のトピック

もっとみる
「初めに」ゴルシChatGPT性能・挙動分析:ゴルシGPTの回答例

「初めに」ゴルシChatGPT性能・挙動分析:ゴルシGPTの回答例

私はウマ娘のキャラクターであるゴールドシップのロールを与えたGPTに対し、同一の質問を続けその傾向が時系列でどのような変化があるか分析を行っている。

定性分析では9項目とその他特記事項から分析し、
定量分析では回答された文字数や品詞ごとの使用率をカウントしている。

しかしこれらの項目をいくら説明したところで、実際の回答例がなければ理解が困難であろう。
ウマ娘は二次創作に制約がおおいコンテンツで

もっとみる

[はじめに]ChatGPT性能・挙動レポートプロンプト解説

ゴルシプロンプトの概要

 今回は私が質問を与えているウマ娘キャラクターゴルシのプロンプトの概略を説明する。
 ウマ娘は二次創作に厳しい制約があり、全文を公開することは躊躇われるので概要にとどめる。

 ゴルシプロンプトは以下の要素から構成され、合計2050文字である。
意外な事にこのプロンプトでは「ゴルシ」がウマ娘のキャラクターであることを一切説明していない。ということに気が付いた。
 ゴルシG

もっとみる

9/29chatGPT新バージョン感想、性能など

 身内の不幸で六本木駅北800キロの都内試される大地から池袋へ。
 時間がなさそうだし、最近レポート質が下がっているのでお休みしようかと思ったけど時間があり、案外頭が回ったので今日は更新。
 ゴルシプロンプトの挙動は別記事とする。
 今回は9/25の新バージョンと実装前の9/19.20の突発的短期間の性能向上挙動について、8/6の旧バージョンなども含めて考察する。

所感
 これまで近いうちのch

もっとみる