Bingアプリ関連の話 - 画像をアップロードして質問できるようになりました #見えなくても使えるiPhone

iPhone 12 Pro, iOS 16.6のVoiceOver環境で読み上げ操作を確認しています。

Microsoftの検索サービスBingでは、
OpenAI社が開発する生成AIのChatGPT-4を利用できます。
画像データをアップロードすることで、その画像に対して質問できるようになりました。

AIと対話しながら質問に答えてくれるようになったMicrosoftの検索サービス「Bing」 with iOS VoiceOver: Voice_of_i #見えなくても使えるiPhone
https://voicei.seesaa.net/article/499029699.html?1692067230

たとえば衣服のデザインや風景を詳しく描写してくれるわけです。

■画像をアップロードする
アップロードできる画像は写真撮影、あるいはカメラロールから選択します。

アプリのトップ画面の最下行に並ぶボタンのうち、
「チャット」ボタンを実行します。
会話のスタイルは三つ用意されているので、
・より創造的に
・よりバランスよく
・より厳密に
好みの形式を選びます。
形式によって得られる回答や生成できる内容が異なります。

画面の最下行で、
「検索する画像の追加」ボタンを実行します。

「camera search take photo」ボタンを実行すると写真が撮影されて自動的にアップロードされます。
ボタンの位置は画面の中央より下側です。

「photo library」ボタンを実行するとカメラロールが開きます。
一覧の中から写真を選択すると、自動的にアップロードされます。

その他のボタン塁は画面の最上業に配置されています。

「camera search close」ボタン
画面をクローズして戻る。

「smart camera rotate」ボタン
カメラの切り替え。デフォルトは背面カメラ。

「smart camera flash」のオン・オフ切り替えボタン
フラッシュの切り替え。オフという読み上げのときはフラッシュはオフ。

「camera search more」ボタン
フィードバック送信。
フィードバック送信するための画面はiPhone本体をシェイクすることでも表示されます。

■質問する
画像をアップロードすると、先ほどの画面に戻るので、
「Bingに質問する　なんでも聞いてください」と読み上げられるテキストフィールドを開き、質問を文字入力します。
「送信」ボタンを実行します。

回答の生成には少し時間がかかります。
質問の内容としては、
「この写真を説明して」
などのように文字入力すると、写真の説明をしてくれます。

シャツが移っていれば、
「シャツのデザインを教えて」
などのように追加質問できます。

(注意)
質問の入力はテキストフィールドを利用する必要がありそうです。
「マイクを使用する」ボタンを実行すると、アップロードした画像に関する回答は生成されませんでした。