見出し画像

AIがウェブを操作する時代──Browser Use、OpenAI Operator、Perplexity Assistantがもたらす新たな自動化の未来

MyTH株式会社

はじめに

近年、AIが人間の代わりにウェブサイトを操作する技術が急速に進歩しています。

チャットや文章生成だけでなく、ブラウザ画面を通じてリンクをクリックしたり、フォームに入力したりして、実際のウェブサービスを利用するようになってきました。

これまでは、特定のウェブサイトに対して単独のプログラムがルールベースで自動操作を行うといった場面はありましたが、現在では大規模言語モデルやマルチモーダルモデルの進化にともない、より柔軟かつ汎用的にブラウザを扱うAIが登場しています。

そこで注目されているのが、OSSのBrowser UseやOpenAIのOperator、PerplexityのAssistantなどの事例です。

https://openai.com/index/introducing-operator/

これらの機能やツールは、単純にスクレイピングを行うだけでなく、実際にウェブページを「見て」クリックし、必要な情報を入力したり、予約や注文などを進めたりすることが可能になりつつあります。

まだ開発段階のものが多く、本格的に実用化されているわけではありませんが、こうした取り組みは、既存のブラウザ操作をAIが代行し、さまざまなサービスを自動利用する可能性を示唆しています。

ただ、現在のウェブサイトは多くが自動アクセスを警戒し、いわゆる「BOT検知」を行っています。

そのため、実際にこれらのAIが操作を始めると、すぐにアクセス拒否やCAPTCHAの表示によって人力確認を強いられることも少なくありません。

また、細かいフォーム入力や手順が複雑なサービスの場合、AIの理解精度が十分でないために誤作動が生じるケースもあります。

本記事では、これら最先端の「AIによるウェブサイト自動操作」の概念や事例を踏まえつつ、現在どのような課題があるのか、今後それらの課題がどのように解消されていくのか、そしてこの先どのような世界が開けていくのかを展望してみたいと思います。


AIによるウェブ操作の広がり

ウェブサイトを自動的に操作するプログラムは、過去から存在していました。

たとえばECサイトの在庫チェックを自動化したり、オンラインサービスの入力フォームを繰り返し送信するといった、いわゆる「ウェブクローラ」や「ボット」は特段珍しいものではありませんでした。

しかし、これまではサイトごとに固有のHTML構造を解析し、決め打ちのスクリプトを組む必要がありました。

ボタンの位置やフォームの名前が変わると動かなくなるため、保守コストも大きかったのです。

近年注目されているマルチモーダルモデルなどは、このような決め打ちのスクリプトではなく、画面上に表示されたテキストやボタン配置を「視覚的に」理解して操作することが可能とされています。

人間がブラウザを見て「ここをクリックすれば次に進める」と判断するのと同じように、モデルが画面全体を1つの情報として扱い、行動を選択していくのです。

大雑把にいえば、人間に近い感覚でブラウザを扱えるAIが出現しつつある、というわけです。

現在直面している課題

こうした「AIによるウェブサイト操作」が実用的な段階に近づいている一方で、まだまだ解消しなければならない課題も多く存在します。

代表的なものが、アクセスの制限と処理精度の問題です。

ロボット扱いによるアクセス制限

多くのウェブサイトは、ボットの大量アクセスやスパム行為を防ぐために、アクセス元の挙動を監視しています。

あまりにも機械的にページをリクエストしていたり、通常のユーザーとは異なるパターンが検知されると、CAPTCHAが表示されたり、アカウントがロックされたりします。

特にチケット予約や会員登録など、サイト側も不正予約や自動申し込みを防ぎたい場面では、通常以上に厳格なBOT検知が導入されています。

AIが人間に近い感覚でブラウザを操作できるといっても、その通信パターンまでは完全に人間のように振る舞うのは難しく、どうしても高速かつ大量にアクセスを試みたり、異様に正確なインタラクションを行ってしまいがちです。

こうした挙動が検知されると、アクセス拒否や制限を受けてしまい、せっかくの自動操作が途中で止まってしまいます。

この問題を回避するため、あえて適度な待ち時間を挟んだり、画面のスクロールなど人間らしいマウス操作を真似する研究も進んでいますが、常にいたちごっこの状態です。

AIの操作精度の不十分さ

もう一つの大きな問題は、まだ操作の精度が十分でないケースが多いことです。

マルチモーダルモデルが画面を見てボタンを押せるようになったとはいえ、ポップアップが出現して画面が覆われた時や、ブラウザの画面サイズによって要素の配置が変化した時など、少しでも想定外の状況が生じると誤作動が起きやすいのです。

また、サイトによっては複雑なフローが設計されており、途中で重要なチェックボックスに同意しないと先に進めないなど、人間にとっては容易でも、AIモデルにとっては理解が難しい段階があります。

それに加えて、サイトの文言やデザインが頻繁に変更される場合、AIはその変化に柔軟に対応するための追加学習や調整が必要になるかもしれません。

モデルによっては事前の学習データが古いままだったり、特定のドメインに特化した知識が足りなかったりする場合もあるため、細かい対応ができずにエラーを繰り返してしまうこともあり得ます。

それでも高まる自動化の期待

実際のところ、サイト側の制限も厳しく、AIの操作精度も完璧ではない現在、なぜこれほどまでに「ウェブサイトの自動操作」に期待が集まっているのでしょうか。

大きな理由の一つは、APIを公開していないウェブサイトであっても、AIが人間の代わりに操作をすればサービスを利用できるという魅力です。

従来、外部サービスと連携するためには公式APIやサードパーティ向けの接続枠組みを利用する必要がありました。

しかし、AIが画面を直接扱えるのであれば、公式には提供されていない操作も実行可能になります。

たとえば、個人が旅行代理店サイトでツアーを探して予約するようなケースを考えると、いちいちUIを人間が操作する手間をなくし、必要条件をAIが判断してプランを比較し、最適な予約を自動で取ってくれたら、とても便利です。

APIレベルで予約操作ができる旅行サービスは一部に限られるため、通常であれば各サイトを開いて情報を確認し、予約フォームに入力しなければいけません。

これをすべてAIに任せられるのであれば、ユーザーの負担は大きく減少します。

さらに視野を広げれば、ECサイトを横断して価格比較や在庫確認を行い、最もお得な組み合わせで商品を購入するといったことも、AIがブラウザを操作できれば実現可能になります。

技術の問題やサイトの利用規約の問題をクリアできれば、多くの業務や個人の手続きが効率化される可能性を秘めています。

個別課題の解消とその先にある未来

技術の進歩は日進月歩であり、今後はいくつかの方向性で現行の課題が解消されていくと考えられます。

まず、BOT検知に関しては、AIがより人間的な操作リズムを学習することで、サイト側に怪しまれにくくなる余地があります。

実際、機械的な操作を人間らしく見せる研究は以前から行われており、マウス操作の軌跡に人為的な曲線を挟むなど、アクセスパターンを「ランダム化」する手法が開発されています。

さらにAIが視覚的にページを認識しているという利点を生かし、CAPTCHAに対しても応答できるモデルが登場すれば、サイト側の防御をかいくぐる形で自動操作が広がるかもしれません。

一方でサイト運営者も、自動操作によるリスクと恩恵の両面を考えざるを得ない時代が来るでしょう。

純粋にサイトの利便性向上のため、AIが自動操作してくれることを歓迎する事業者も出てくる可能性があります。

たとえば、ユーザーがより簡単に予約や購入をしてくれるのであれば、運営側にとっても売上増が期待できます。

公式にAI向けの操作インターフェイスや専用の支援ツールを提供して、正規ルートの自動アクセスを許可する仕組みも考えられます。

そうなると、BOT検知の目的が「不正な利用や悪意あるアクセス」を排除することに焦点が移り、善意のAIアクセスは推奨されるという二層構造が生まれるかもしれません。

処理精度の問題に関しては、マルチモーダルモデルが今後さらに強化され、画面レイアウトの変化や追加されたステップなどにも柔軟に対応できるようになっていくでしょう。

特に強化学習の技術が進めば、実際のブラウザ操作を通じて失敗と成功のデータを蓄積し、より「現場での学習」を行うことが可能になります。

これにより、サイト側の仕様変更や不測のエラーにも徐々に対処できるようになり、操作精度が上がっていくと考えられます。

こうした個別の課題が解消された先には、ウェブブラウザという概念自体が変化していく未来像があるかもしれません。

今後は人間がURLバーを使ってサイトにアクセスするのではなく、AIエージェントに「こんなことがしたい」と要望を伝えると、裏でAIが必要なサイトを訪問し、必要な情報を取得して設定を完了するようなスタイルが当たり前になる可能性があります。

人間は目的だけを明示し、具体的な操作はAIがすべて代行するという世界は、SFのようでいて実現の射程圏内に入りつつあります。

結び

AIがウェブサイトを自動操作する時代は、すでに地平線上に姿を現し始めています。

Browser UseやOpenAIのOperator、PerplexityのAssistantなど、試験的な取り組みが続々と登場し、簡単な予約やフォーム入力であればAIがほぼ自動でこなせる段階に近づいています。

しかし、現状ではBOT検知の壁や操作精度の問題があり、本格的な普及にはまだ時間がかかるでしょう。

サイト運営者側も大規模アクセスを嫌がる場合が多く、サービスによってはそもそも自動操作を明確に禁じるケースも少なくありません。

それでも、多くのユーザーはウェブサイト操作の手間を省きたいと考えており、開発者や企業もAIを活用した新たなユーザー体験の創出に意欲的です。

今後はブラウザの操作データをモデルが学習するなかでさらに高い精度を実現し、サイト側も正当な自動アクセスを許容する枠組みを整備していく可能性があります。

最終的には、人間がブラウザを開いてあれこれ作業する必要がほとんどなくなり、「AIに頼めば勝手にやっておいてくれる」時代が本格的に訪れるのかもしれません。

こうした未来が到来すると、ウェブに限らずあらゆるタスクをAIが肩代わりしてくれる世界が見えてきます。

もちろん、その際にはプライバシーやセキュリティ、データ倫理などの問題も新たに浮上しますが、技術的進歩はまさに不可逆的な流れとして続いています。

これから数年、あるいは十年のうちに、一気に「AIがウェブサイトを操作する」という光景が当たり前のものになっていくでしょう。

私たちがマウスやキーボードを使っていた時代は振り返れば懐かしいものになるかもしれません。

新しい技術が生む利便性と、それに伴う課題の両面に目を向けながら、AIによるウェブ操作の未来を見守っていきたいと思います。

いいなと思ったら応援しよう！