〜WebUI編〜【実演】ブラウザを操作するAI『Browser Use』が想像以上に面白い！
【プロフィール】
Oh my teeth CEO 西野誠（にしのまこと）
1994年生まれ。大学在学中にオープンロジにて創業期を経験。ワークスアプリケーションズに新卒入社し、大規模基幹システム開発に従事。2019年、Oh my teethを創業。日本初の通わない歯科矯正ブランドを東京と大阪6ストアで展開。体験者数は5万人を突破。Onlab 21th「DemoDay」最優秀賞 & オーディエンス賞、ICC 2022「D2Cカタパルト」優勝、ICC 2024「DXカタパルト」優勝、Forbes NEXT100 2024受賞。
▼YouTubeはこちら
Nishino：お疲れ様です！Browser Useは使えました？
メンバー：いや、難しくて私は使えませんでした。
Nishino：何が難しかったですか？
メンバー：とりあえずこの設定から難しいっていうところなんですけど。
Nishino：コマンドで色々プロント打つのとかが厄介だと思うので。Browser Useが何かっておさらいなんですけれども、ブラウザの自動操作をGPTとか使いながらやるっていう。要はGPTにChromeで楽天トラベルで例えば「明日の夜泊まれるホテル探しといて」っていうと、Chrome内で楽天トラベルをまず開いて、そこで日付とか条件とか色々選んで、空室ありなしとか調べて提供してくれるっていう、そういう風なブラウザの自動操作のツールなんですね。
基本的にこのBrowser Useっていうのはコマンド内、いわゆるこれをガチャガチャ打たないと操作できなかったです。これがやっぱりつきにくいと。そういう方に向けてですね、実はブラウザ版がありますと。ブラウザでできるようになって、グラフィカルに用ができるようになったと。それがブラウザユースのWeb UIというのがありますので、それをちょっとやってみたいなという風に思います。
たたですね、これも最初にお伝えしておくと、すぐに使えるわけではなくてですね。そこまでの初期セットアップに関してはコマンドを何個か使わないといけない。しかもMacだとセキュリティの問題とかがあるので、つまずくポイントとかもあります。
今日はセットアップが終わった前提でこういうことできますよ。こんな感じですよというのをお伝えできればなと。
まず、こんな感じで設定する。
開きました。Browser UseのWebUIです。
これで、例えばエージェントセッティングとかLLMの設定。アクションとかステップスの設定もできます。Tempretureの設定もできて、これが増えれば増えるほど、よりランダム性が高くなる。要はGPTって、推測してるに過ぎないんですよ。大量のデータを覚えることによって、こうきたらこう、みたいな。桃太郎とかもそうかもしれないですけど、「昔々ってきたら次はなんですか」みたいな話で、統計学的に8割以上「あるところに」がくるみたいな。こうやって予測してる問題なんですよ。これが高ければ高いほど、ランダム性があるから「昔々あるところに」じゃないやつを持ってきたりするんですけど、0に近づくほどほぼほぼ「あるところに」が出やすい。そうすると文章生成によって、完全に決定論的に差があるとそれはそれで逆に人間らしくない文章になるから。だってGPTってその割に毎回全然答えが違ったりするじゃないですか。そこで一定のランダム性がある。でもこれ人間もそうなんですよ。揺らぎがあるわけじゃないですか。昨日こう言ってたけど、色々状況によって、温度によって違うじゃないですか。気分がない人はもう機械じゃないですか。気分、温度が高い人は振れ幅があると。そういう風に覚えるとわかりやすいかもしれないですね。
APIキーも設定できますが、事前にenvファイルと言って、この辺がややこしいじゃないですか。ブラウザ設定とかもできます。
一旦ここで、昨日の動画(Browser Use)はコマンドでやってたと思うんですが、今回はここに「明後日の夜、梅田駅周辺のサウナ付きホテルの一番高いのに泊まりたいので一休で探して」
これで、「Run Agent」をクリックします。
すると、ブラウザが立ち上がって探します。
そしたら、こんな感じでたどり着く。
これがBrowser UseのUI。
メンバー：こっちの方が簡単ですね。
Nishino：こっちの方が簡単です。
今度はこういうのいけるのかな。「明後日の夜、梅田駅周辺のサウナ付きホテルの一番高いのに泊まりたいので一休と楽天トラベルで探して、それぞれの情報を教えてください。URLもほしい。」ちょっとここムズいかな。ちょっとムズそうだけど、情報量ができたらアツいですよね。全部の要望は答えられるかわかんないけど、URLまでもらえたらアツいよなと。そしたら楽じゃないですか。開けばいいだけだから。そういう依頼ってたまにしませんか？ちょっといいところあったら教えてみたいな感じ。URLでもらったりするじゃないですか。
あ、Amazonでやってみよう。Amazonで調べて、おすすめのモバイルバッテリー5つぐらい出してURL貼ってください。これじゃないかな。
メンバー：それいいですね。
Nishino：今回ちょっと難しいので、一休調べて保存しておきつつ。やっぱりリッツカールトンなんだ。高い順でちゃんと調べてますね。
メンバー：ほんとだ、クリックされてる。
Nishino ：クリックされてますね。おー次楽天行った。しかもこれ多分ね動画も入ってるんですね。検索してる。こういう感じですよ。調べました。
あ、止まった。でもURLがちゃんと貼られてる。
メンバー：すごい。
Nishino：これは動画でも検索の様子が見れちゃう。
Nishino：ちょっとこれもう一回チャレンジするか。結構いけてたな。
あ、ちゃんとサイト一休でやってるね。ちゃんと高い順。ちょっと若干さっきより遅いじゃないですか。それはなぜかというと、さっきのコマンドでやってたやつ。あれ、GPT4o mini使ってたんですよ。高速版、軽量版使ってて。今回は4o。なんかminiがねうまく使えなくて。ちょっと時間かかってる。けどその分精度はいいんじゃないかなと思います。
エラー出ちゃうね。Resultで見ると。Here are the details for the highest priced…
メンバー：あ、楽天も出てる。
Nishino：出てる出てる。一休はと87,300円。楽天は81,600円。おおすごいじゃん。まあちょっとこのURLが予約サイトまで指定できればよかったけど、可能性はありませんか。じゃあ最後、AmazonでAnkerのモバイルバッテリーで
メンバー：口コミが多いやつ。
Nishino：ああ確かに。「Amazonで口コミが一番多いモバイルバッテリーを3つ候補出して。10,000mA以上でUSB-Cポートが2つ以上あること。充電器も内蔵しているやつがいい」、ちょっとこんな感じで。これどうなるのか。あ、終わっちゃった。まずAmazonには余裕でいくんでしょうね。解釈してますねまずは。
メンバー：あ、でも結果が出てますね。
Nishino：出てるね。
メンバー：なんか早い。
Nishino：早いっすね。怪しいな。まあでもこういう感じですよね。あんまり深く考えないんですよね。だからちょっとそこらへんは、多分設定で、もっと深くように考えたりとか、プロンプトなのか。ちょっとその辺りのプロンプトがまだ見つかってないんですけど、でもこんな感じでUIでサクサクやって、結果は保存できるし、レコーディングに保存されてるしっていうことで、結構未来なんじゃないかなと思ってるし、GPTが当たり前になったように、こういうのももっとシームレスになってくんじゃないかなと思うんですよね。つまり、これをちょっと調べておいてって言ったら、GPTでクローリングして調べるって言うものもあるし、こうやってブラウザを動かして、勝手に情報収集とか、勝手に何かアクションをしていることが、もう当たり前になってくんじゃないかなと思ってて、めちゃくちゃワクワクしてます。
メンバー：確かに。これは使ってみたいですね。
ここまで読んでいただきありがとうございます！
Oh my weekはYouTubeで毎朝7時に配信しているので、チャンネル登録して聞いていただけると嬉しいです。それでは本日もOh!全開でいきましょう！
Oh my teeth 採用情報
Oh my teethでは、最速で未来の歯科矯正体験を社会実装する仲間を募集しています。我々と一緒にリアルとTechを駆使した事業創りを経験しませんか？
一緒に戦える仲間をたくさん募集中です！
▼職種の例
・マーケター
・ストアマネージャー
・セールスリーダー
・プロダクトマネージャー
・歯科衛生士少しでも興味持った方、物作りしたいなとか世界中に届ける物作りしてみたいという方はぜひまずは僕と15分面談させてください。
▼興味がある方は、西野と15分面談をしましょう！
Oh my teeth マウスピース矯正
通わないマウスピース矯正、Oh my teethが今大好評です。サクッと歯並びをきれいにしたい方、ぜひ無料診断に来てください。今導入クリニック大阪東京6店舗で展開しています。
無料診断はたったの3ステップ！
Step1： Oh my teethの専門クリニックに行く
🔎Step2：歯型スキャンスタート
3Dスキャナーで実施いたします。結果は最短即日でLINEでゲット！
🧑🔬Step3：矯正相談・プランのご提案
理想的な歯並びの擦り合わせを行います。
▶️無料診断を予約する
ついでにNishinoのLINE追加もお願いします！採用について、矯正について、気になることがあればお気軽にご連絡ください！
▼WebCMが配信中！