Gpt-4相当で爆速と噂のCommand-R+、品質をGpt-4やClaude3と比較してみた【英文要約】
日本の引きこもり事情を調べていて、引きこもりの多くは「脆弱型の自己愛性パーソナリティ障害」を発症している可能性が高い、という文献を発見しました。(注:こういう説がある、というだけです。引きこもり=自己愛性障害と決めつけるものではありません。)
「自己愛性パーソナリティ障害」とは?と思い調査してみるも、日本には入門書的なものしかまだあまり文献がないようです。そこで、英語文献のKindle版をダウンロードして読んでみることにしました。
ただ、残念ながら英語の専門書をスラスラ読めるほどの英語力は私にはないので、幾らか姑息な方法ですがKindleから文字起こしをした上でAIに要約をまとめさせることに。
せっかくなのでここ数日話題になっているCommand-R+にも要約をさせて、私の最近の普段遣いAIであるClaude3(Opus)と、ついでにGPT-4(on Perplexy)と比較してみたいと思います。
登場するAIたち
書籍の中から1章分、4400ワードの英文を要約させてみました。プロンプトは共通してこんな感じです。
まずは、Claude3(Opus)から。出力する長文の日本語がとても読みやすいので、最近ではすっかり私のメインAIになっています。ビジネスの壁打ちとか、ブログの下書きとか、議事録のまとめなど、やたらと長い文章に強いのがClaude3(Opus)の強みだと感じています。
Claude3(Opus)
相変わらず読みやすい日本語です(うっとり)。「高校生にも分かる」という指示が効いたのか、ものすごくあっさりした要約になっています。この章全体のボリュームからするとちょっと要約しすぎかな、という気もしたりしなかったり。ただ、しっかりとポイントはおさえていて、さすがClaude3(Opus)といった感じです。Claude3の持病のハルシネーション(偽情報)は、今回の要約では出ていないようです。
内容の正確さ:★★★★★
読みやすさ :★★★★★
日本語力 :★★★★★
まとめ力 :★★★★
文章量 :★★★
次は、チャット型AIの元祖(去年リリースなのに元祖とは)OpenAIのGPT-4です。先月ぐらいまでは世界最先端だったのですが、気がついたらClaude3(Opus)があっさり追い抜いて…と思っていたら昨日GPT-4 TurboがまたClaude3を抜き返したとか。もう目まぐるしいったらありゃしない。
ちなみに私はOpenAIのサブスクを解約してしまっているので、PerplexityのGPT-4を使って要約しました。
GPT-4 Turbo(Perplexity)
Claude3と比べると、まとめの文量としては個人的にはこっちの方が適切のように感じます。BPD(境界性パーソナリティ障害)/NPD(自己愛性パーソナリティ障害)それぞれの特徴を段落を分けて説明するなど、読みやすさにも配慮しています。その代わり、高校生向けと言っても、結構優秀な高校3年生向けぐらいのレベル感があるのは気のせいでしょうか。ぱっと見て内容を理解できるか、というと少し難しいような気がしました。
内容の正確さ:★★★★★
読みやすさ :★★★
日本語力 :★★★★★
まとめ力 :★★★★★
文章量 :★★★★★
最後にここ数日、話題になっているCommand-R+(コマンダープラス)。こちらは性能としてはGPT-4相当ですが、出力が爆速なのと、API利用料金が格安、あとは(非商用に限れば)自分のPCでも実行可能というのが話題の理由のようです。AppleシリコンのMacをお持ちなら、GPT-4が自分のPCで動くそうですよ。ただし、メモリが128GB必要らしいです(白目)
Command-R+
うーん、要約にしてはちょっと長すぎかな、という気もしますね。ただ、出力速度は確かに爆速です。API料金も安いので、チャットボットなんかに使うのは良いかもしれません。最後の注意点(「これらの障害を特定できるのは専門家だけ」)を拾ってきたのは倫理的には加点対象ですが、倫理的に拾ってきたのか、ただ要約力が弱くて色々拾ってきた中にこれが入っていただけなのか、ちょっと判断に迷いますね。
内容の正確さ:★★★★★
読みやすさ :★★★
日本語力 :★★★★
まとめ力 :★★
文章量 :★★★
総合的に見ると、(今回のような英文要約に限ってですが)Command-R+はGPT-4よりちょっと下、ぐらいのレベルに感じました。純粋なアウトプット能力という点で見れば、Command-R+にわざわざ置き換える必要性はないかな、と感じます。ただ、繰り返しになりますがレスポンスの速さは特筆すべきものを感じます。これまでGPTを一般向けに応用したアプリケーションを開発しようとした場合、GPT-4ではコストも高く待ち時間が長い、GPT-3.5では品質がちょっと。。。という辺りがユーザビリティの障害になっていたのであれば、Command-R+はGPT-4(に近い)品質で爆速・低コストということで、試してみる価値はありそうです。