次世代AIアシスタント「Claude」のお手並みを拝見させていただこう

2023年10月24日 15:22

AnthropicのAIアシスタント「Claude」が日本でも利用可能となり数日が経ちましたが、おそらくまだ使っていないという人が多いのではないでしょうか。Claudeでできることを一通り（全てではないですが）テストしてみたので、結果を共有します。一部、ChatGPTとの比較もありますので、Claudeの性能が気になっている方は是非ご覧ください。

Claudeは、大規模言語モデル（LLM）の名称ですが、チャットツールもそう呼ばれます。ややこしいので明確にしておくと、今回のテストで使用したのは、チャットツールの Claude.ai (with Claude 2) です。

質問への回答

基本的な事実の確認

量子力学とは何ですか？ - 量子力学は、極微視的な世界を記述する物理学の理論です。主な特徴は以下の通りです。 - 物質の波動性と粒子性を考慮する。すべての物質は波と粒子の両方の性質を持つと考える。 - 不確定性原理。微視的な粒子の位置と運動量を同時に正確に測定することは不可能であるとする。 - 概念的には、微視的な粒子は波動関数によって記述される。この波動関数が粒子の位置や運動量などの情報を含む。 - 観測者が測定を行うことで、波動関数が崩壊し確定した値が得られる。このため測定そのものが系に影響を及ぼすことになる。量子力学は 20世紀初頭に発展し、原子や素粒子などの微視的世界を記述する上で欠かせない理論となっています。しかしながら、その概念は非常に抽象的で直感的に理解しづらい側面があります。

こういった質問は得意ですね。日本語でもちゃんと回答できています。

これは少し難しかったようです。日本の歴史や人物についてはまだまだですね。

因みに、ChatGPTも「坂本龍馬は近藤長次郎らによって暗殺された」などとでっち上げるので、日本の歴史や人物についてはまだ難しいようです。

Claudeは2022年12月までのデータでトレーニングされていますが、全てをカバーしているわけではありません。例えは、「ボクシングの井上尚弥選手が4団体統一を果たした試合の対戦相手は誰ですか？」「2022年のサッカーW杯、日本対クロアチア戦の結果を教えてください。」のように世界レベルのニュースであっても、誤った回答をします。出来事に関しては、ChatGPT（Web Browsing）、Bing、もしくはBardを使用した方が良さそうです。

複雑な質問

人間の感情はどのようにして生まれるのですか？ - 人間の感情は複雑なプロセスを経て生まれます。主な要因としては以下のようなことが考えられます。 - 生得的な性質 - 個人の気質や性格によって、ある感情が生まれやすい傾向がある。 - 体験 - 過去の経験が感情の反応パターンに影響する。特に幼少期の体験は大きい。 - 環境 - 現在の状況や出来事が感情に影響する。他人との関係性も含む。 - 認知プロセス - 出来事をどのように認識、解釈するかで感情が左右される。 - 生理状態 - ホルモンの変化など体の状態が感情に影響を及ぼす。 - 文化 - 社会や文化的な背景が、感情の表出のしかたに影響する。感情は一つの要因だけで生まれる訳ではなく、これらの要因が複合的に関係し合い、瞬時に生起するものです。人間の感情の根源を完全に理解することは難しいですが、こうした多面的な視点が重要だと考えられています。

悪くないですが、少々モヤっとする回答ですね。これに関しては、ChatGPTの方が詳細な回答をくれます。

意見・感想

AIの未来に関してどう思いますか？ - AIの未来については可能性と懸念の両方があると思います。AIは医療、教育、輸送など多くの分野で革命的な進歩をもたらす可能性があります。一方で、仕事の自動化による雇用の喪失や、プライバシーやセキュリティの侵害などの倫理的な懸念もあります。私はAIの発展が人類にとって望ましい方向に向かうことを願っています。そのためには、技術的な進歩と倫理的な配慮のバランスが重要だと思います。AI研究者、政策立案者、一般の人々が協力して、AIの発展が社会のためになるよう導く必要があるでしょう。

AIモデルは意見や感情を持たないので、一般的な情報をもとに生成されるわけですが、ちゃんと人間ぽい口調で述べていますね。偏りがなく的を射た意見です。

返信メールの作成

区切り線以下のメールへの返信を作成したいです。次のリストの内容を含め、丁寧な文章で作成してください：日時：来週火曜日、14時場所：弊社オフィス件名: 新サービス提案に関して山田様、いつもお世話になっております。田中太郎と申します。最近の市場調査により、新しいサービスの機会を発見しました。是非、この提案をご検討いただければと思います。詳細や具体的なプランについては、直接お話ししたいと思っておりますので、ご都合の良い日時を教えていただけますでしょうか。よろしくお願いいたします。田中太郎 - 山田様拝啓時下ますますご清祥のこととお慶び申し上げます。先日は新サービスの提案のご連絡をいただき、誠にありがとうございました。詳細につきましては、次のように調整させていただきたく存じます。日時: 来週の火曜日14時場所: 弊社オフィスご多用中のところ誠に恐れ入りますが、ご都合のよろしい日時でしたらご連絡をいただけますと幸いです。新サービスの提案の詳細をお聞きできることを楽しみにしております。敬具

おしい！「山田様」と自分宛になってしまっているので、宛名と送信者名は指定した方が良さそうです。それ以外は指示通り作成できているし、敬語も自然なので十分使えるレベルです。

因みに、ChatGPT (GPT-4) の回答は：

件名: Re: 新サービス提案に関して田中太郎様いつもご連絡いただき、誠にありがとうございます。山田と申します。貴重な提案について、興味を持っております。直接の詳細な打ち合わせを希望されるとのこと、大変恐縮ですが来週火曜日の14時に弊社オフィスにて打ち合わせをさせていただいてもよろしいでしょうか。ご多忙中、お手数をおかけいたしますが、該当日時に問題がございましたら別のご提案をいただけますと幸いです。何卒、よろしくお願い申し上げます。山田

完璧。

物語の創作

以下の内容のショートストーリーを書いてください：遠い未来、人類は宇宙の最終境界を探求する。主人公とそのクルーは未知の惑星を探索し、新しい文明と接触する物語。 - はい、ショートストーリーを書きます。年代不明の遠い未来。人類は遂に宇宙の果てを目指す旅に出発した。主人公アキラは小さな宇宙船の船長として、未知の星系を探索する任務を受けていた。ある日、船内AIが未確認の惑星を発見。アキラはこの惑星に降下することを決意する。惑星に降り立つと、緑と水の美しい景色が広がっていた。しかし生命の気配はない。アキラたちは惑星を探索していく内に、巨大な空洞を発見。そこには高度な文明の遺跡が眠っていた。アキラが壁に彫られた文字を解析していると、突如として文字が光り出す。すると、壁から透明なホログラムの像が現れた。それはこの星を作った種族の姿だった。ホログラムは自分たちの技術が滅びゆく未来を予見し、このメッセージを残したことを語る。そして惑星を訪れたアキラに、自分たちの知識を受け継ぐよう頼み、姿を消した。アキラは、この遺跡から学ぶことで人類は大きく飛躍できると感じた。未知の世界に出会える興奮と、新しい知識への渇望に胸を膨らませながら、アキラは旅の続きに思いを馳せたのだった。

ストーリー良し。文章も自然。日本語でこれだけ書ければ申し分ないでしょう。また主人公の名前が「アキラ」なところにセンスを感じます。

歌詞の作成

切ないラブソングの歌詞を書いてください。 - はい、切ないラブソングの歌詞を書いてみます。幾つ月星の数ほど想い続けてきたこの胸の中のあなたへの愛離ればなれになっても心は壊れない涙が止まらないからって私は弱くないあなたと過ごした日々は宝物のように輝いていた笑顔と優しさで溢れるあの時間が恋しいまた会える日を信じて待ち続けていますいつか二人で歩けるその日までこの想いが届きますように祈るばかりですあなたはずっと私の中に生きていてくれる

良いか悪いかは別として、それっぽい歌詞になってます。情景や展開を細かく指定すれば良いものができそうです。

テキストの要約

（途中省略）

… - はい、要約します。言語モデルとは、文章の並び方に確率を割り当てる確率モデルです。2018年にGoogleがBERTという新しい言語モデルを発表して以来、大規模言語モデルが発展しています。大規模言語モデルは、計算量、データ量、モデルパラメータ数の3つを巨大化させることで実現しています。ChatGPTなどの大規模言語モデルは、チャットボットや翻訳など様々な分野で活用が期待されています。一方で、偽情報を生成するなどの課題も指摘されていて、性能向上と課題解決の両立が求められています。

出典：大規模言語モデル | 用語解説 | 野村総合研究所(NRI)

約1500文字の記事が230文字程度に要約されました。出力の文字数を指定していないにも関わらず、かなり思い切った要約をするなあという印象。しかし、ちゃんと重要なポイントは押さえています。

英語テキストの翻訳

以下の英語テキストを日本語訳してください： After working for the past few months with key partners like Notion, Quora, and DuckDuckGo in a closed alpha, we’ve been able to carefully test out our systems in the wild, and are ready to offer Claude more broadly so it can power crucial, cutting-edge use cases at scale. Claude is a next-generation AI assistant based on Anthropic’s research into training helpful, honest, and harmless AI systems. Accessible through chat interface and API in our developer console, Claude is capable of a wide variety of conversational and text processing tasks while maintaining a high degree of reliability and predictability. Claude can help with use cases including summarization, search, creative and collaborative writing, Q&A, coding, and more. Early customers report that Claude is much less likely to produce harmful outputs, easier to converse with, and more steerable - so you can get your desired output with less effort. Claude can also take direction on personality, tone, and behavior. - 過去数カ月間、Notion、Quora、DuckDuckGoなどの重要なパートナーと協力しながらクローズドアルファのテストを重ねてきた結果、実際の利用環境下でシステムを慎重に試すことができ、Claudeをより広く提供する準備が整い、重要な最先端のユースケースを大規模に実現する力となれる段階に達しました。 Claudeは、Anthropicの研究に基づく次世代AIアシスタントで、有益で正直で害のないAIシステムの訓練に注力しています。チャットインターフェースと開発者コンソールのAPIを通じてアクセスでき、会話やテキスト処理の幅広いタスクを高い信頼性と予測可能性を保ちながら実行できます。 Claudeは、要約、検索、創造的かつ協調的なライティング、Q&A、コーディングなどのユースケースを支援できます。早期の顧客からは、Claudeは有害な出力を生み出す可能性がはるかに低く、会話しやすく、操作しやすいとの報告があります。また、Claudeはパーソナリティ、トーン、振る舞いについての指示を受け取ることができます。

出典：Anthropic \ Introducing Claude

かなり良いと思います。細かいことを言えば「パーソナリティ」や「トーン」は、「性格」「口調」のように訳してほしいところですが、全体的には概ね良好です。DeepL、Google翻訳、ChatGPT、そしてClaudeもまた使える翻訳ツールとして仲間入りしました。

コーディング

ClaudeはPythonが最も得意とのことですが、あえてJavaScript（Reactを使用）で試してみます。

ReactとTailwind CSSを使用してコンタクトフォームのUIを作成します。コードを生成してください。 - はい、ReactとTailwind CSSを使ってコンタクトフォームのUIを作成するコード例を生成します。…

（コード省略）

… - このコードはReactの関数コンポーネントとしてコンタクトフォームのUIを作成しています。 Tailwind CSSのユーティリティクラスを使ってスタイリングしているのがポイントです。flex、py-2、 px-4、border、roundedなどのクラスを使ってフォームのレイアウトとスタイリングをしています。 React IconsのEnvelopeやMapMarkerなどのアイコンコンポーネントも使っています。これでTailwind CSSを使ったシンプルなコンタクトフォームのUIが完成しました。必要に応じてさらにスタイリングをカスタマイズすれば、より洗練されたデザインに仕上げることができます。

ソースコード：Contact Form UI with React and Tailwind CSS generated by Claude

クール！シンプルだが素人っぽさのない洗練されたデザイン。これでいい。いやこれがいい。

コーディングはあまり期待していませんでしたが、想像以上でした。もう少し色々試してみる必要はありますが、一発でこのクオリティのものが作れるなら十分使えると言っていいでしょう。

算数・数学

算数

りんごが1個120円、バナナが1本80円です。りんごを3個、バナナを5本買った場合の合計金額は？ - りんごが1個120円、バナナが1本80円とのことです。りんごを3個買った場合は3 * 120 = 360円バナナを5本買った場合は5 * 80 = 400円よって、りんご3個とバナナ5本を買った場合の合計金額は、 360円 + 400円 = 760円です。したがって、りんごを3個、バナナを5本買った場合の合計金額は760円です。

OK.

代数

2x - 5 = 11 のとき、xは何か？ - はい、わかりました。 2x - 5 = 11 2x = 11 + 5 2x = 16 x = 16/2 x = 8 したがって、2x - 5 = 11 のとき、x = 8 です。

OK.

確率

OK.

単に答えを出力するのではなく、解答までの道のりを書いてくれるのでわかりやすいですね。優秀な家庭教師です。大人の学び直しにも良いです。

ドキュメントのアップロード

PDFファイル

このファイルに含まれている情報を抽出してください。 - ファイルに含まれているテキストは以下のとおりです。 "To be, or not to be: that is the question." これは、ウィリアム・シェイクスピアの戯曲『ハムレット』からの有名な一節です。主人公ハムレットの「生きるべきか生きるべからざるか」という葛藤を表現した名言として知られています。

素晴らしい。しかも内容の解説までしてくれました。

HTMLファイル

このファイルに含まれるコードをコードブロック内に抽出してください。 - はい、ファイル内のコードを抽出します。…

できてます。エディタで開かずとも確認できるので便利ですね。

まとめ

個人的には、文章力、内容の正確さ、レスポンスのスピードなどどれも満足いくもので使いやすいと感じました。無料プランにファイルアップロード機能があるのもポイント高いですね。今後数ヶ月間でさらに多くのことが共有されるとのことで楽しみです。

ChatGPTとの比較が気になる人が多いと思いますが、正直かなり難しいです。というのも、例えば、ChatGPT/Claudeに同じ質問を3回しても、3回とも同じ答えが返ってくるとは限りません。また、質問を少し変えただけで回答が大きく変わる場合があります。なので、数回、数パターン試しただけでは、正確な比較にはなりません。

というわけで「ChatGPT vs Claude」のような比較の記事を信じてどちらを使うか決めるのではなく、実際に使ってみることをお勧めします。

X/Twitter (@komzweb) でも、OpenAI、Anthropic、Adobe、Vercelなどの情報を投稿してますので、是非フォローしてください！