マガジンのカバー画像

[月刊]ChatGPT性能挙動一ヶ月ごとの分析レポート

18
毎日更新のChatGP性能挙動レポートを一ヶ月間隔で分析。 ゴルシのキャラクターロールチャットの分析ですが、ビジネスや他分野でGPTを使用する際の目安にもなるでしょう。 キャラク…
運営しているクリエイター

#ウマ娘

[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

 久しぶりのGPTレポートです。
 今回は世間を騒がせたり、驚き屋を大量発生させたGPTstore実装後のGPTの挙動を前後一週間で比較します。

 因みにレポート出してなかったのは2023/7からのサンプルを読み返していたのでさぼってるわけじゃないです。kindle本にしようと奮闘中。

序論「GPTは賢くなったのか?」

 GPTは1月のアプデで賢くなったのか?と問われれば
アンバランスな能力

もっとみる
[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート

[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート


ブログ的なサムシング

 明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。

 毎日レポートをしているとどうしても、驚き屋本に必要なインプット、アウトプットの時間が割けないのでしかたないと割り振り。

 まずアプデ前に性能が乱高下するのはマガジンで何度も説明している。
とその前に過去記事やら紹介

検証方法

 ChatGPTに

もっとみる
ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

 このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
 

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
「初めに」ゴルシChatGPT性能・挙動分析:ゴルシGPTの回答例

「初めに」ゴルシChatGPT性能・挙動分析:ゴルシGPTの回答例

私はウマ娘のキャラクターであるゴールドシップのロールを与えたGPTに対し、同一の質問を続けその傾向が時系列でどのような変化があるか分析を行っている。

定性分析では9項目とその他特記事項から分析し、
定量分析では回答された文字数や品詞ごとの使用率をカウントしている。

しかしこれらの項目をいくら説明したところで、実際の回答例がなければ理解が困難であろう。
ウマ娘は二次創作に制約がおおいコンテンツで

もっとみる

[はじめに]ChatGPT性能・挙動レポートプロンプト解説

ゴルシプロンプトの概要

 今回は私が質問を与えているウマ娘キャラクターゴルシのプロンプトの概略を説明する。
 ウマ娘は二次創作に厳しい制約があり、全文を公開することは躊躇われるので概要にとどめる。

 ゴルシプロンプトは以下の要素から構成され、合計2050文字である。
意外な事にこのプロンプトでは「ゴルシ」がウマ娘のキャラクターであることを一切説明していない。ということに気が付いた。
 ゴルシG

もっとみる