見出し画像

[クラウドAIなのにデバイスで性能が変わる疑惑]chatGPT性能挙動レポート

 出先での作業環境が悪く、昨日帰宅し今日から毎日レポートと思いまして今日の出力とゴタゴタした間の情報もデータセットに入れる作業をしていたいたのですがちょっととんでもない結果になりそうなので今日も個別レポートはお休みさせていただきます。

 結論
 スマートフォンのウェブブラウザアプリを通じてChatGPTを使用してもPC版と性能に格差がある可能性がある。
※OpenAI提供のchatGPTアプリではなく、chromeを使用すること強調

 9/19,20に挙動が変化したということを繰り返し伝えてきました。そのに箇条書きの不使用を上げていました。
 9月30日、1日も箇条書きの使用が全く無くなったのですが文字数が明らかに少なく若干の疑いを持ちました。
 Iphoneで12回出力した後、帰宅後PCで3回出力したのですがiPhoneでの出力文字数は平均450文字前後、PCの平均文字数は650文字と200文字も差が生まれています。
 そのため今日はブラウザアプリを使用してもスマホとPCでは能力が異なる
のではないかという疑いを持ちスマホで5回、PCで10回出力しましたが

今日の回答では

スマホでは1回も箇条書きが使用されていないのに対し、
10回出力したPCでは7回も箇条書きが使用されたのですね。

平均文字数も
スマホでは452文字
PCでは620文字
150文字も差がありました。

 箇条書きの使用率、文字数は明確な差異がありPCとスマホでは同じ「chrome」を使用しても性能がことなる可能性を検証する必要があると判断しました。
 このため今後は時間をかけて過去にスマホで出力した回答の仕分けをおこなうことになり、文章内容を細かく分析したレポートを一度お休みさせていただきます。

 10月1日では
ioschrome最小文字が376文字
Winchromeでの最大文字数は686文字でした。
 統計もクソもない驚き屋じみた計算をするならば
1回300文字格差×1日最大400回の出力=12万文字
ChatGPTは!!!スマホでは12万文字も損する!!!(驚き屋)

 デバイスが違うとサービス内容が変化するクラウドAIってクラウドAIとしてどうなの?という疑問の解消を優先します

 追記
 出先ではGPTをIphone11、最新iosのchromeで使用していました。
OpenAI提供のchatGPTアプリは性能差があるという定説がありましたので、使用していませんでした。同じプロンプトに対する回答の変化を観察するには挙動の違うアプリとブラウザの回答を混同しては目的が達成されないからです。
 この定説は概ね「アプリ版はアップルストア等のNSFWフィルターが厳しく、機能制限する必要があるため挙動がブラウザでのGPTと異なる」というもので一定程度信頼できるものです。


いいなと思ったら応援しよう!