【AIでPCの操作を自動化！？】Anthropic Computer Use DemoのMac使い方ガイド（初心者向け）

2024年10月23日 01:58

　Anthropic Computer Use Demoは、AnthropicのAPIを活用してコンピュータ操作を自動化するためのデモプロジェクトです。このガイドでは、初心者向けに詳細な手順を分かりやすく説明します。

今回のClaudeの最新情報はこちらの記事へ👇

実際にPCの自動化をできるデモ触ってみた動画がこちら👇

Claude3.5でPCの操作を自動化できちゃった件。

やり方はリプ欄へ👇

※ノーカットです pic.twitter.com/qWGjrnhW4k
— そら ☁️ Dify 自動化オタク📱 (@sora19ai) October 22, 2024

注意事項

　コンピュータ操作機能はベータ版であり、以下のリスクが伴います。これらを理解し、適切な対策を講じてください。

セキュリティリスク:
- 専用の仮想マシンやコンテナの使用: システムへの直接攻撃や事故を防ぐため、最小限の権限で動作させます。
- 機密データの保護: アカウントのログイン情報などの機密データへのアクセスを避け、情報盗難を防止します。
- インターネットアクセスの制限: 信頼できるドメインのみにアクセスを許可し、悪意のあるコンテンツへの露出を減らします。
人間の確認:
- 意思決定の確認: 実世界に影響を与える決定や同意が必要なタスク（クッキーの受け入れ、金融取引の実行、利用規約への同意など）は人間が確認します。
プロンプトインジェクションのリスク:
- 指示の優先順位: ウェブページや画像に含まれる指示がユーザーの指示に優先する場合があり、誤動作の原因となる可能性があります。Claudeを機密データや重要な操作から隔離する対策が推奨されます。
エンドユーザーへの通知と同意:
- リスクの通知: コンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを通知し、同意を得てください。

必要なもの

始める前に以下のものを準備してください。

Docker: コンテナを実行するために必要です。インストールされていない場合は、Dockerの公式サイトからダウンロードしてインストールしてください。
Anthropic APIキー: Anthropicのサービスを利用するために必要です。取得方法はAnthropicの公式ドキュメントを参照してください。
AWSまたはGoogle Cloudの認証情報（必要に応じて）:
- Bedrockを使用する場合: AWSの認証情報が必要です。
- Vertexを使用する場合: Google Cloudの認証情報が必要です。

ステップバイステップガイド

1. リポジトリのクローン

　まず、GitHubからリポジトリをクローンします。

git clone https://github.com/anthropics/anthropic-quickstarts.git
cd anthropic-quickstarts/computer-use-demo

2. 環境変数の設定

　使用するAPIプロバイダーに応じて環境変数を設定します。

Anthropic APIの場合:

export ANTHROPIC_API_KEY=your_api_key

Bedrockの場合:

オプション1（推奨）: ホストのAWS認証情報ファイルとプロファイルを使用

export AWS_PROFILE=your_aws_profile

オプション2: アクセスキーとシークレットを使用

export AWS_ACCESS_KEY_ID=your_access_key export
AWS_SECRET_ACCESS_KEY=your_secret_key export
AWS_SESSION_TOKEN=your_session_token

Vertexの場合:

gcloud auth application-default login
export VERTEX_REGION=your_vertex_region
export VERTEX_PROJECT_ID=your_vertex_project_id

3. Dockerコンテナの実行

　選択したプロバイダーに応じてDockerコマンドを実行します。

Anthropic APIを使用する場合:

docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Bedrockを使用する場合（オプション1）:

docker run \
  -e API_PROVIDER=bedrock \
  -e AWS_PROFILE=$AWS_PROFILE \
  -v $HOME/.aws/credentials:/home/computeruse/.aws/credentials \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Vertexを使用する場合:

docker build . -t computer-use-demo
docker run \
  -e API_PROVIDER=vertex \
  -e CLOUD_ML_REGION=$VERTEX_REGION \
  -e ANTHROPIC_VERTEX_PROJECT_ID=$VERTEX_PROJECT_ID \
  -v $HOME/.config/gcloud/application_default_credentials.json:/home/computeruse/.config/gcloud/application_default_credentials.json \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it computer-use-demo

4. デモアプリへのアクセス

　コンテナが正常に実行されていることを確認したら、ブラウザで以下のURLにアクセスします。

http://localhost:8080

　ここから、エージェントチャットやデスクトップビューにアクセスできます。

設定の永続化

　コンテナは設定（APIキーやカスタムシステムプロンプト）を `~/.anthropic/` ディレクトリに保存します。このディレクトリをマウントすることで、コンテナを再起動しても設定を保持できます。

-v $HOME/.anthropic:/home/computeruse/.anthropic

フィードバックの提供

モデルの応答品質、API自体、またはドキュメントの品質についてフィードバックがある場合は、指定されたフォームを使用してください。フィードバックはプロジェクトの改善に役立ちます。

重要な注意点

ベータAPIの変更: ベータ版のAPIは変更される可能性があります。最新情報はAPIリリースノートを参照してください。
コンテナのセッション管理: エージェントループはコンテナ内で実行され、1セッションのみ使用可能です。セッションを切り替える場合は、コンテナを再起動またはリセットする必要があります。

まとめ

　Anthropic Computer Use Demoを利用することで、Anthropicの強力なAPIを活用したコンピュータ操作の自動化が可能になります。セキュリティリスクを理解し、適切な対策を講じることで、安全かつ効果的にプロジェクトを進めてください。

不明点や追加情報が必要な場合は、公式ドキュメントやコミュニティフォーラムを参照してください。