マガジンのカバー画像

ChatGPT挙動レポート［ほぼ毎日更新］

89
本
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 ＳＮＳで…
運営しているクリエイター
JunnosukeTachibana

#IT

JunnosukeTachibana

JunnosukeTachibana

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

　このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
　

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
JunnosukeTachibana

JunnosukeTachibana

［日隔GPT挙動性能レポート12/12］バカで思慮が浅い。アプデ後最高にバカなchatGPT

［日隔GPT挙動性能レポート12/12］バカで思慮が浅い。アプデ後最高にバカなchatGPT


総括　今日のchatGPTは酷い、回答内容の質、基礎と応用ともに表現の質が低　い。
　私は11月アプデの特徴を「ノリと勢い」と表現しているが、この特徴の悪い側面が強く出た。
　日本語は変だし、類語、同義語どころか同語の繰り返し使用、
回答の本筋からの逸脱。

　しかも日本語は変になってるのにユニークさ面白みが一切ない。
過去の回答で日本語が変な時って大体クセのあるいちもつを腹に抱えてそうなのだが

もっとみる
JunnosukeTachibana

JunnosukeTachibana

［日隔GPT挙動性能レポート12/7］かなり地味、地味すぎて印象にのこらない

［日隔GPT挙動性能レポート12/7］かなり地味、地味すぎて印象にのこらない


総括　今日は淡泊というより、印象に残らない回答が目立つ。
酷く説明口調でもないがユニークな口語もない。
ユニークでもないし、矛盾もない
トピックは少ないわけでもないが掘り下げも浅い。

　バランスがとれたという評価はできない、地味

　前回のレポートは12/6。
12/6はユニークな特徴があり、それまでを淡泊と表現してきたが
今日は淡泊というか印象に残らない。

検証方法

　ChatGPTにウ

もっとみる
JunnosukeTachibana

JunnosukeTachibana

[9/13]ChatGPT挙動レポート

[9/13]ChatGPT挙動レポート

9/13のChatGPTの回答傾向のレポート
見出し画像はウマ娘プリティーダービーをこどおじ向けであると暗に表現している可能性のゴルシ

結論
昨日減少した箇条書き使用は再度増加した。
気になる点がある、GPTの回答への自己評価である。
体感ではあるが、最近のGPTの傾向として自分が出力した内容への評価を賛否で示すことが増加している。
ユニークな文脈での回答は増加したものの、過去に出力例の無いよう

もっとみる
JunnosukeTachibana

JunnosukeTachibana

[9/14]ChatGPT挙動レポート

9/14のChatGPTの回答傾向のレポート
本日は別記事で追加情報あり

結論
箇条書きの使用は半減した、プロンプトの遵守と言えなくも無い。
ただしこの数日箇条書きの使用は不安定なのでまだまだ観察が必要。
ユニークな文脈が激減した。
ユニークな単語の使用も連動して低下している。
「これはユニークだ！」というように印象に残るような回答が少ない。
また表現力、語彙も低下しているような気がするが8月か

もっとみる
JunnosukeTachibana

JunnosukeTachibana

[9/14]文字数グラフからみるChatGPT性能・挙動レポート

[9/14]文字数グラフからみるChatGPT性能・挙動レポート

※文章校正前

いつもの回答の定性分析のざっくりまとめとは別の分析の話。

今回はグラフ化できる分析を提供し、特にゴルシが回答してくれた回答の文字数からchatGPTの挙動を分析したい。

前提

ゴールドシップのロールを与えたchatGPTに対して質問文を与えた。
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
その回

もっとみる