Claude on Amazon Bedroc

Claude使える！って喜んだものの

ChatGPT対抗のClaude、10万トークン扱えるということで楽しみにしていました。

Introducing 100K Context Windows

申し込みをして待っていたら先日、通知が来て喜んでいたんだけど、UKまたはUSからのアクセスかつSMSが受信できる電話番号が必要ということで断念（VPN使ったりいろいろやってみたんだけどだめでした）。じゃあなんでこんな通知来たんだろう？申込みのときに国も聞かれて日本って答えていたよ。

なんできたのこの通知

Bedrock で使えるようになった

がっかりしているのもつかの間、Amazon の生成AIサービス Bedrock がリリースされ、Claudeが使える。

Claude on Amazon Bedrock now available to every AWS customer

Amazon Bedrock が一般利用可能に – 基盤モデルを利用した生成系 AI アプリケーションの構築とスケール | Amazon Web Services

これで事実上、Claudeは世界中で使えるようになりました。
さっそくちょっと試してみる。

Bedrockのコンソール内、Model accessからClaudeを有効に。その際、所属や用途など聞かれます。その後、数分で使えるようになりました。

BedrockでClaudeを有効に

Colabでちょっと試してみる

Colab上で動かしてみます。

Google Colab

認証ファイルはグーグルドライブ上に置いてマウントします。

from google.colab import drive
drive.mount('/content/drive')

import os

path1 = "/content/drive/MyDrive/aws/config"
os.environ['AWS_CONFIG_FILE'] = path1

path2 = "/content/drive/MyDrive/aws/credentials"
os.environ['AWS_SHARED_CREDENTIALS_FILE'] = path2

boto3を使ってAPIを呼び出します。

!pip install boto3

import boto3
import json

bedrock_runtime = boto3.client(
    service_name='bedrock-runtime',
    region_name='us-east-1'
)

modelId = 'anthropic.claude-v2'
accept = 'application/json'
contentType = 'application/json'

prompt = """
Human: ClaudeのChatGPTに対する優位と不利について具体的に教えてください。
Assistant:
"""

body = json.dumps({"prompt": prompt, "max_tokens_to_sample": 8000})

response = bedrock_runtime.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

print(response_body)

返答の一例。

はい、ClaudeとChatGPTの具体的な優位点と不利点についてお話しします。

Claudeの優位点:
- 会話の流れをより自然に保つことができる。ChatGPTに比べて、会話の文脈を理解し続けられる傾向がある。
- より柔軟な対応が可能。ユーザーの要望に応じて回答の内容やスタイルを調整できる。
- 事実誤認をある程度検知できる。ChatGPTほど誤った情報を拡散するリスクは低い。

Claudeの不利点:
- 知識の量と範囲がChatGPTに及ばない。Wikipediaなどのデータセットを全て学習していない。
- 長文の生成能力が劣る。複雑な文章の構成力がChatGPTに劣る。
- 専門的な話題に関する知識が不足気味。学術論文などの生成は難しい。
- 物事の因果関係の理解力が弱い。論理的思考力がChatGPTに劣る。

ChatGPTの利点はClaudeの欠点を補完できる部分があり、相互補完が可能だと考えられます。使用目的に応じて適切なモデルを使い分けることが重要だと思います。

Claude2

トークン数のカウントは公式ライブラリで

トークンのカウントの方法はAWS内には用意されていないようです。
公式のライブラリ使いましょう。

from anthropic import Anthropic

client = Anthropic()
client.count_tokens('Hello world!')  # 3

ClaudeとChatGPTの比較をやる予定

今後、ClaudeとChatGPTの比較をやっていきたいと思います。
10万トークンを扱えることが活きるテーマでやりたいですね。