computer use モデルの開発
以下の記事が面白かったので、簡単にまとめました。
1. はじめに
最新の「Claude 3.5 Sonnet」は、コンピュータを使用できるようになりました。適切なソフトウェアセットアップを実行すると、ユーザーのコマンドに従ってコンピュータの画面上でカーソルを移動したり、関連する場所をクリックしたり、仮想キーボードで情報を入力したりすることができ、ユーザーが自分のコンピュータを操作する方法をエミュレートします。
現在パブリックベータ版となっているこのスキルは、AIの進歩における大きな進歩であると考えています。以下では、computer use モデルの開発とその安全性向上に関する研究から得られた知見をいくつかご紹介します。
2. なぜコンピュータを使うのか?
この新しい機能はなぜ重要なのでしょうか。現代の仕事の大部分はコンピュータを介して行われています。AIが人間と同じようにコンピュータソフトウェアと直接対話できるようにすることで、現世代のAIアシスタントでは不可能な、幅広いアプリケーションが実現可能になります。
過去数年間、強力なAIの開発において、複雑な論理的推論を実行する能力や、画像を見て理解する能力など、多くの重要なマイルストーンが達成されてきました。次のフロンティアはコンピュータの使用です。つまり、特注のツールを介して対話する必要がなく、指示に従って基本的にあらゆるソフトウェアを使用できる AI モデルです。
3. 研究プロセス
ツールの使用とマルチモーダル性に関するこれまでの研究が、これらの新しい computer use スキルの基礎となりました。コンピュータを操作するには、画像 (この場合はコンピュータ画面の画像) を見て解釈する能力が必要です。また、画面上の内容に応じて特定の操作をいつどのように実行するかについて推論する必要もあります。これらの能力を組み合わせて、「Claude」に画面上で何が起こっているかを解釈し、利用可能なソフトウェアツールを使用してタスクを実行できるように学習しました。
開発者が「Claude」にコンピュータソフトウェアの使用を指示し、必要なアクセス権を与えると、「Claude」はユーザーに見えるもののスクリーンショットを見て、正しい場所をクリックするためにカーソルを垂直または水平に何ピクセル動かす必要があるかを数えます。「Claude」にピクセルを正確に数えるように学習することは非常に重要でした。このスキルがないと、モデルはマウスコマンドを出すのが難しくなります。これは、モデルが「単語「バナナ」には A がいくつありますか?」などの一見簡単な質問に苦労することが多いのと同じです。
計算機やテキストエディタなど、いくつかの簡単なソフトウェアを使った computer use 学習で、「Claude」がいかに急速に一般化するかに驚きました (安全上の理由から、学習中はモデルがインターネットにアクセスできないようにしました)。この学習は、「Claude」の他のスキルと組み合わせることで、ユーザーが書いたプロンプトを一連の論理的な手順に変換し、コンピュータでアクションを実行するという驚くべき能力を「Claude」に与えました。モデルが障害に遭遇すると、自分で修正してタスクを再試行することさえ観察されました。
最初の画期的な進歩を遂げた後、その後の進歩は急速に進みましたが、そこに到達するまでには多くの試行錯誤が必要でした。Anthropicの研究者の中には、「computeer use」の開発は、この分野に初めて参入したときに思い描いていた AI 研究の「理想的な」プロセスに近いと指摘する人もいました。つまり、進歩が見られるまで絶え間ない反復と設計図への繰り返しの繰り返しです。
現在、「Claude」は、人間と同じようにコンピュータを使用するモデル、つまり画面を見てそれに応じて行動するモデルとしては最先端のものです。モデルにコンピュータを使用させようとする開発者の試みをテストするために作成された評価の1つである「OSWorld」では、「Claude」は現在 14.9% を獲得している。これは人間レベルのスキル (通常は 70～75%) には遠く及ばないが、同じカテゴリで次に優れた AI モデルが獲得した 7.7% よりははるかに高いです。
4. コンピュータを安全に使う
AIのあらゆる進歩は、新たな安全上の課題をもたらします。「computer use」は、主にAIシステムが既存の認知スキルを適用する障壁を下げる手段であり、それらのスキルを根本的に向上させる手段ではありません。そのため、「computer use」に関する私たちの主な懸念は、将来の危害ではなく現在の危害に焦点を当てています。私たちは、責任あるスケーリングポリシーで概説されているように、「computer use」が最先端の脅威のリスクを高めるかどうかを評価することでこれを確認しました。新しい「computer use」スキルを含む更新された「Claude 3.5 Sonnet」は、AI安全レベル2のままであることがわかりました。つまり、現在実施しているものよりも高いレベルの安全性とセキュリティ対策は必要ありません。
将来、モデルが壊滅的なリスクを伴うためAI安全レベル3または4の保護手段を必要とするようになった場合、「computer use」によってそれらのリスクが悪化する可能性があります。モデルがまだAI安全レベル2の保護手段しか必要としないうちに、「computer use」を導入する方がおそらく良いと私たちは判断しています。つまり、リスクがはるかに高いモデルに初めて「computer use」機能を追加するのではなく、リスクが大きくなりすぎる前に安全性の問題に取り組み始めることができるということです。
この精神に基づき、Anthropicの信頼と安全チームは、潜在的な脆弱性を特定するために、新しい「computer use」モデルの広範な分析を実施しました。特定した懸念事項の1つは、「プロンプトインジェクション」です。これは、悪意のある指示がAIモデルに送られ、以前の指示を無視したり、ユーザーの本来の意図から逸脱した意図しないアクションを実行したりするタイプのサイバー攻撃です。「Claude」はインターネットに接続されたコンピュータのスクリーンショットを解釈できるため、プロンプトインジェクション攻撃を含むコンテンツにさらされる可能性があります。
パブリックベータ版の「Claude」の「computer use」を使用している場合は、このようなリスクを最小限に抑えるために適切な予防措置を講じる必要があります。開発者向けのリソースとして、リファレンス実装でさらに詳しいガイダンスを提供しています。
他のAI機能と同様に、ユーザーが「Claude」のコンピュータスキルを意図的に悪用する可能性もあります。Anthropicのチームは、こうした不正使用を警告して軽減するための分類器やその他の方法を開発しました。米国大統領選挙が近づいていることから、選挙プロセスに対する国民の信頼を損なうとみなされる可能性のある悪用行為に対して警戒を強めています。「computer use」は、既存の機能に比べてリスクが高まるほど高度ではなく、規模で運用できるものでもありませんが、「Claude」が選挙関連の活動に参加するよう求められた場合を監視する対策や、ソーシャルメディアでのコンテンツの作成と投稿、Webドメインの登録、政府のWebサイトとのやり取りなどの活動から「Claude」を遠ざけるシステムを導入しました。パブリックベータ期間中、「Claude」の機能と責任ある使用のバランスをとるために、これらの安全対策を継続的に評価し、繰り返し改善していきます。
データプライバシーに対する当社の標準的なアプローチに従い、デフォルトでは、「Claude」が受け取るスクリーンショットを含む、ユーザーが送信したデータで生成AIモデルを学習することはありません。
5. computer use の未来
「computer use」は、AI 開発とはまったく異なるアプローチです。これまで、LLM開発者はモデルにツールを適合させ、AIが特別に設計されたツールを使用してさまざまなタスクを完了するカスタム環境を作成してきました。今では、モデルをツールに適合させることができます。つまり、「Claude」は私たち全員が毎日使用するコンピュータ環境に適合できます。私たちの目標は、「Claude」が既存のコンピュータソフトウェアを取得し、それを人間と同じように使用できるようにすることです。
やるべきことはまだたくさんあります。最先端の技術ではありますが、「Claude」の「computer use」は依然として遅く、エラーが発生しやすい傾向にあります。人々がコンピュータで日常的に行う操作 (ドラッグ、ズームなど) の多くは、「Claude」にはまだ実行できません。「Claude」の画面の「フリップブック」的な表示 (より細かい動画ストリームを観察するのではなく、スクリーンショットを撮ってそれらをつなぎ合わせる) により、短時間のアクションや通知を見逃す可能性があります。
本日の発表に向けて「computer use」デモを録画している間にも、面白いエラーがいくつか発生しました。1つは、「Claude」が長時間実行されていた画面録画を誤って停止するクリックをし、すべての映像が失われてしまったことです。もう1つは、「Claude」が突然コーディングデモを中断し、イエローストーン国立公園の写真をじっくりと見始めたことです。
「computer use」は急速に改善され、より高速で信頼性が高く、ユーザーが実行したいタスクにとってより便利になると期待しています。また、ソフトウェア開発の経験が少ない人にとっても、実装がはるかに容易になります。当社の研究者は、すべての段階で安全チームと緊密に連携し、「Claude」の新機能に適切な安全対策が伴うように努めます。
パブリックベータ版で「computer use」を試した開発者の方は、このフォームを使用してフィードバックをお送りください。これにより、研究者はこの新しい機能の有用性と安全性を継続的に改善することができます。
関連
この記事が気に入ったらサポートをしてみませんか？