6月21日、Anthropic社が新しい言語モデルのClaude 3.5 Sonnetを発表しました。また、同時に新機能のArtifacts(成果物)も公開しました。
Artifactsは、Claudeが生成した成果物を画面右側のワークスペースに表示する機能であり、グラフ、文書、SVG画像など様々なコンテンツを表示することができます。
この新しいモデルと機能によって、簡単にゲームアプリやスライドやWebサイトを作成することができるとSNSで話題になっています。
今回は、その中でも、相当性能が向上したと言われるデータ分析機能について、その性能をGPT-4oと比較してみました。
1.グラフ描画の性能
最初に、どんなグラフを描けるかClaudeに聞いてみました。
(1) 棒グラフ(Bar Chart)
ClaudeはReactコンポーネントを使用したアニメーション付きのインタラクティブなグラフを描きます。また、マウスでグラフに触れると、ポップアップで数値が表示されます。
GPT-4oのようにマウスの操作だけでグラフの色を変更することはできませんが、「グラフの色を赤色に変えて」などと指示を入力することにより、グラフを修正することはできます。
(GPT-4oの棒グラフ)
アニメーション付きのインタラクティブなグラフです。マウス操作で簡単にグラフの色を変更したり、拡大画面を表示したりできます。
(2) 折れ線グラフ(Line Chart)
ClaudeはReact使用のインタラクティブなグラフを描きます。
(GPT-4oの折れ線グラフ)
アニメーション付きのインタラクティブなグラフです。マウス操作で簡単にグラフの色を変更したり、拡大画面を表示したりできます。
(3) 円グラフ(Pie Chart)
ClaudeはReact使用のインタラクティブなグラフを描きます。
(GPT-4oの円グラフ)
アニメーション付きのインタラクティブなグラフです。マウス操作で簡単にグラフの色を変更したり、拡大画面を表示したりできます。
(4) 散布図(Scatter Plot)
ClaudeはReact使用のインタラクティブなグラフを描きます。
(GPT-4oの散布図)
アニメーション付きのインタラクティブなグラフです。マウス操作で簡単にグラフの色を変更したり、拡大画面を表示したりできます。
(5) 面グラフ(Area Chart)
ClaudeはReact使用のインタラクティブなグラフを描きます。GPT-4oは、棒グラフ、折れ線グラフ、円グラフ、散布図の4種類しかインタラクティブなグラフに対応しておらず、それ以外のグラフを描く場合は、通常のグラフになります。また、インタラクティブなグラフでない場合は、日本語フォントを追加しないと日本語表示ができません。
(GPT-4oの面グラフ)
インタラクティブではなく、アニメーションも付きません。グラフの色も変更できません。また、そのままでは日本語表示ができません。
(6) レーダーチャート(Radar Chart)
ClaudeはReact使用のインタラクティブなグラフを描きます。GPT-4oは、インタラクティブでないグラフになります。
(GPT-4oのレーダーチャート)
インタラクティブではなく、アニメーションも付きません。グラフの色も変更できません。また、そのままでは日本語表示ができません。
(7) 複合チャート(Composite Chart)
ClaudeはReact使用のインタラクティブなグラフを描きます。GPT-4oは、インタラクティブでないグラフになります。このような複雑なグラフでも、アニメーション付きのインタラクティブなグラフになるのがClaudeの凄いところです。
(GPT-4oの複合チャート)
インタラクティブではなく、アニメーションも付きません。また、そのままでは日本語表示ができません。
(8) 箱ひげ図(Box Plot)
ClaudeはReact使用のインタラクティブなグラフを描きます。箱ひげ図として間違ってはいないようですが、あまり分かりやすいサンプルではありません。
(GPT-4oの箱ひげ図)
インタラクティブではありませんが、外れ値も考慮した分かりやすくてよくできたサンプルです。
(9) 3Dグラフ(3D Chart)
HTMLアーティファクトでvis.jsをインポートすれば、Claudeで3Dグラフを描くことができます。vis.jsはネットワークグラフなどを作成するためのJavaScriptライブラリです。
(GPT-4oの3Dグラフ)
GPT-4oも3Dグラフを描くことができます。
(10) フローチャート(Flowchart)
ClaudeはMermaidにも対応しているため、フローチャートなど様々なダイアグラムを作成できます。これらはReactコンポーネントのようにインタラクティブではありませんが、自由に拡大縮小することができます。
(GPT-4oのフローチャート)
Graphvizを使用して、ChatGPTでフローチャートを作成することができます。以下のようなFizzBuzzのフローチャートも作成できます。
GPTsを使用すれば、さらに簡単にフローチャートを作成できます。
(11) マインドマップ(Mind Map)
ClaudeはMermaidを使用してマインドマップを作成することができます。以下は、健康な生活をテーマにしたマインドマップです。
(GPT-4oのマインドマップ)
上記(10)と同じGPTsのDiagrams ‹Show Me›で作成したマインドマップです。
GPTsのWhimsical Diagramsで作成したマインドマップです。
Claude 3.5 SonnetもGPT-4oも共にグラフ描画の性能はかなり高いということが分かります。
棒グラフ、折れ線グラフ、円グラフ、散布図などの基本的なグラフについては、どちらもアニメーション付きのインタラクティブなグラフを簡単に作成することができます。但し、グラフの色変更が簡単にできる点はGPT-4oが勝っています。
それ以外のグラフについては、Claudeの方が複雑なグラフをインタラクティブなグラフとして描くことができます。Claudeの複合チャートは、非常に見やすくて、分かりやすいと感じました。GPT-4oはデフォルトで3Dグラフに対応しており、Claudeもvis.jsをインポートすれば、HTMLで3Dグラフを描くことができます。
フローチャートなどの図表の作成については、そのままでは、Mermaidを使用できるClaudeが勝っていますが、ChatGPTには、よりカラフルで分かりやすい図表を作成できるGPTsが揃っています。
2章からは、Claude 3.5 SonnetとGPT-4oのデータ分析の性能を比較します。
2.スターバックスの店舗数の分析
都道府県別のスターバックスの店舗数や都道府県人口との相関関係について分析します。
(1) Claudeによるデータ分析
データをアップロードして、「分析して」とだけ入力します。
このように非常に詳しい分析結果が返ってきました。
次に「視覚化して」と入力します。
このように都道府県別の店舗数の棒グラフと、グラフから読み取れる特徴の解説が表示されます。グラフには、一部の都道府県名しか表示されていませんが、実際の画面でマウスでグラフに触れると、触れた部分の都道府県名と具体的な店舗数の数字が表示されます。
最後に「インサイトを抽出して」と入力します。
わずかこれだけの作業で、これほど詳しいデータ分析が行えることに驚きです。
(2) GPT-4oによるデータ分析
ファイルのみをそのまま送信すると、ChatGPTが英語で回答してくるので、「日本語で分析して」と指示します。
GPT-4oもしっかりと分析結果を返してくれますが、Claudeと比べると、分析の深さと詳しさにおいて見劣りがします。但し、グラフは、全ての都道府県名を最初からきちんと表示したGPT-4oの方が勝っていたと言えるでしょう。
次は少し複雑に、スターバックスの店舗数のファイルと都道府県の人口に関するファイルを同時に分析してもらいます。
(3) Claudeによる相関分析
2つのデータをアップロードして、「分析して」とだけ入力します。
すると、以下の文章が右側のワークスペースに表示されました。
これだけでかなり詳しい分析結果が返ってきます。
次に「視覚化して」と入力します。
3つのグラフとその解説が表示されました。相関関係を表す散布図には、10個の点のみが打たれていますが、これは人口10位までの都道府県ということのようです。
次に、作業が重複しますが、「都道府県別のスターバックス店舗数と人口の相関分析をして」と入力します。
今度は、47都道府県全部の散布図とその解説が表示されました。ワークスペースに表示されたピアソンの相関係数が0.9179、Claudeの回答の方が約0.9893と数字が違いますが、これは、後者の方が外れ値となる東京都のデータを外して計算したためだと考えられます。
いずれにせよ、スターバックスの店舗数と人口の間には、非常に強い正の相関があることが分かりました。また、それ以外の要素についても、とてもよく分析が行われています。
(4) GPT-4oによる相関分析
2つのデータをアップロードして、「分析して」と入力すると、少し修正が必要でしたが、都道府県ごとの人口当たりのスタバ店舗数を計算し、以下のような2つのデータを結合した表が作成されました。
次に、日本語フォントを追加して、グラフを描くように指示します。すると、都道府県名が文字化けしていますが、以下のような都道府県別人口当たり店舗数の棒グラフが表示されました。
次に「都道府県別のスターバックス店舗数と人口の相関分析をして」と入力します。
回帰直線が引かれて、店舗数と人口の相関関係がより分かりやすく表現されています。
最後に「インサイトを抽出して」と入力します。
最終的に、同じような分析結果になりましたが、Claudeの方が全体的に分析が深く丁寧で、スムーズに分析が進むように感じました。
3.ポケモンデータの分析
次は趣向を変えて、ポケモン図鑑のデータを分析してもらいます。このデータファイルは、900匹以上のポケモンのステータスなどについてまとめています。
(1) Claudeによるデータ分析
データをアップロードして、「分析して」とだけ入力します。
CSVファイルのデータは68.7KBで問題なくアップロードできましたが、以下のように会話の長さ制限を超えていると表示されて、分析してもらえませんでした。
この会話の長さ制限はかなり厳しく、多くのデータがこの制限にかかって分析できませんでした。課金してClaude Proに加入すれば、この制限は緩和されるようです。
(2) GPT-4oによるデータ分析
GPT-4oの方は、問題なくデータ分析ができました。
4.売上データの分析
売上のサンプルデータについて、グラフを描いて分析します。
(1) Claudeによるデータ分析
データをアップロードして、「月ごとの総売上の変動、カテゴリごとの売上の比率、店舗別の売上について分析して」と入力します。
一度の指示できちんとデータ分析が行われ、総括まで説明したのは大変優秀だと言えるでしょう。なお、最初の月別総売上グラフは、折れ線グラフにした方が変化が分かりやすかったと思います。
次に「インサイトを抽出して」と入力します。
更にグラフを2つ追加して、かなり詳しいデータ分析が行われ、今後の販売戦略も示してくれました。Claudeのデータ分析は相当優秀であると認めざるを得ないでしょう。
(2) GPT-4oによるデータ分析
データをアップロードして、「月ごとの総売上の変動、カテゴリごとの売上の比率、店舗別の売上について分析して」と入力します。
3つのグラフとその簡単な説明が表示されました。グラフの簡単な説明のみであり、具体的なデータ分析は行われませんでした。
次に「インサイトを抽出して」と入力します。
3項目のデータ分析の結果とそれを踏まえた行動提案が表示されました。しっかりとデータ分析ができていますが、Claudeの分析の方が深くて詳しいと感じられます。
5.企業の決算の分析
(1) ソフトバンクグループの2024年3月決算短信の分析
このファイルのページ数は80ページで、ファイルのサイズは714KBです。
① Claudeによるデータ分析
以下のように会話の長さ制限を超過して、データ分析を行うことができませんでした。
有料のClaude Pro及びAPIの制限は20万超トークン(約350ページ)ですが、無料版の制限は混雑具合によって変わるとされています。実際には、数十ページ程度で制限にかかることが多いようです。
② GPT-4oによるデータ分析
データをアップロードして、「グラフを使って簡単に説明して」と入力します。
分かりやすいグラフで簡潔に説明してくれました。
(2) note株式会社の2023年11月期決算短信の分析
次はもう少しページ数の少ない決算短信で試してみます。
① Claudeによるデータ分析
データをアップロードして、「グラフを使って簡単に説明して」と入力します。
2つのグラフと解説が表示されました。コンパクトにまとまっていると思います。
次に「グラフを使って分析して」と入力します。
先程の説明よりも詳しい経営分析を説明してくれました。
② GPT-4oによるデータ分析
データをアップロードして、「グラフを使って簡単に説明して」と入力します。
少し文字化けしていますが、売上高、営業利益、経常利益、当期純利益の4種類のグラフが表示され、それぞれについての簡単な説明が行われました。
次に「グラフを使って分析して」と入力します。
新たにグラフは描かれませんでしたが、データ分析を踏まえ、先程よりは詳しい解説が行われました。ただ、Claudeの方がより突っ込んだ内容になっていると思います。
6.まとめ
Claude 3.5 Sonnet+Artifactsのデータ分析性能は、非常に高いです。GPT-4oでは、思い通りの出力結果を出すのに工夫が必要だったり、苦労したりする場合もありましたが、Claudeでは、細かい指示をしなくても、簡単に高度なデータ分析ができてしまいます。
ただ残念なのは、無料版の入力データの長さ制限が厳しく、少しデータが大きいと扱えなくなることです。やはり本格的な使用には、有料版に加入することが必須なのかもしれません。
また、デフォルトのグラフのデザインは、カラフルで見やすいGPT-4oの方が好きなのですが、Claudeは様々なグラフをインタラクティブに扱うことができるため、入力の際に注文を付ければ、もっと好みに合ったグラフにカスタマイズできるのではないかと思っています。複合チャートを使いこなせば、もっと分かりやすいグラフを作成できるでしょう。
今のところ、ChatGPTからClaudeに乗り換えるつもりはないのですが、Claudeは日本語の文章生成能力も高いため、このままChatGPTがバージョンアップしないのなら、Claude 3.5 Opusが公開される頃には乗り換えを考えてしまうかもしれません。