Android の Google AI の新機能まとめ
以下の記事が面白かったので、簡単にまとめました。
1. Circle to Search - 生徒の宿題サポート
「Circle to Search」は、Androidの新しい検索機能です。画面上のオブジェクトやテキストを指で円を描いたり線を引いたりするだけで、そのコンテンツに関連する検索結果を表示できます。
本日より、「Circle to Search」が生徒の宿題をサポートしました。携帯電話やタブレットから直接、単なる答えではなく、より深い理解を与えることができるようになりました。生徒が行き詰まったプロンプトに丸を付けると、さまざまな物理や数学を解くための段階的な指示が表示されます。デジタル情報シートやシラバスを離れることなく、文章の問題を解くことができます。今年後半には、記号式、図、グラフなどを含むさらに複雑な問題の解決に役立つようになる予定です。これは、「LearnLM」の取り組みが活用しています。
2. Gemini - 状況を理解して物事を成し遂げる
「Android」の「Gemini」は、生成AIで創造性と生産性を高める新しい種類のアシスタントです。Android に統合されたこのエクスペリエンスは、画面に表示されている内容や使用しているアプリのコンテキストをさらによく理解できるようになりました。
まもなく、現在使用しているアプリの上にGeminiのオーバーレイを表示して、より多くの方法で「Gemini」を簡単に使用できるようになります。たとえば、生成された画像を「Gmail」や「Googleメッセージ」にドラッグ アンド ドロップしたり、「この動画に質問」をタップしてYouTube動画内の特定の情報を検索したりできます。「Gemini Advanced」の場合は、「このPDFに質問する」オプションもあり、複数のページをスクロールすることなくすぐに回答を得ることができます。このアップデートは、今後数か月にわたって数億台のデバイスに展開される予定です。
また、画面上の内容に関連したより動的な提案を提供できるよう、「Gemini」の改善を続けていきます。
3. Gemini Nano - 完全なマルチモーダル機能
「Android」は、オンデバイスの基盤モデルが組み込まれた最初のモバイルOSです。「Gemini Nano」でエクスペリエンスを迅速に提供し、情報を完全にプライベートに保つことができます。今年後半の「Pixel」から、マルチモダリティを備えた最新モデル「Gemini Nano」を導入する予定です。これは、携帯電話がテキスト入力を処理できるだけでなく、光景、音、話し言葉などのコンテキスト内のより多くの情報を理解できることを意味します。
3-1. TalkBack によるより明確な説明
「TalkBack」は、Androidで視覚障害者や低視力者をサポートするための音声ユーザーインターフェースです。
今年後半には、「Gemini Nano」のマルチモーダル機能が「TalkBack」に導入される予定です。視覚障害や弱視を持つ人々が画像内で何が起こっているかについてより豊かで明確な説明を取得できるようになります。TalkBackユーザーは、平均して1日に90枚のラベルのない画像に遭遇します。このアップデートは、家族や友人から送られた写真の詳細や、オンラインショッピングの際の服のスタイルやカットなど、不足している情報を埋めるのに役立ちます。「Gemini Nano」はデバイス上にあるため、これらの記述は迅速に実行され、ネットワーク接続がない場合でも機能します。
3-2. 通話中に詐欺の疑いのあるアラートを受け取る
「Gemini Nano」を使用して、詐欺によく関係する会話パターンを検出した場合に通話中にリアルタイムでアラートを提供する新機能をテストしています。たとえば、「銀行の担当者」が緊急の資金移動やギフトカードでの支払いを要求したり、カードの PIN やパスワードなどの個人情報を要求したりした場合に、アラートを受け取ります。これは銀行からの要求としては一般的ではありません。この保護はすべてデバイス上で行われるため、会話はプライベートに保たれます。この機能については、今年後半にさらに詳しく紹介する予定です。
