[iOS 17] Visual Look Upの実力を試す #WWDC23

iOS 17でVisionKitにVisual Look Upという新機能が追加されました。

Visual Look Upとは

Visual Look Upとは、標準の写真アプリにはiOS 16から利用可能になった（米国ではiOS 15から）機能で、写真に写っているものの情報を調べることができる機能です。

写真Appで「画像を調べる」を使用すると、写真に写っている人気のランドマーク、彫像、アート、植物、ペットなどを特定し、それらの情報を調べることができます。

https://support.apple.com/ja-jp/guide/iphone/iph21c29a1cf/ios

以下のように画像内の「もの」を認識し、表示されるアイコンをタップするとその説明が表示されるようになります。

What's new in VisionKitより

これが今回、VisionKitでも利用可能になった、つまり開発者が自分たちのアプリにこの機能を組み込めるようになった、というのが今回のアップデートです。

サポートするドメイン

Visual Look UpはiOS 16ではペット、自然、ランドマーク、アート、メディアをサポートしていましたが、iOS 17ではさらに、食べ物、製品、サインやシンボルをサポートするようになりました。

What's new in VisionKitより

日本語もサポート

サポートしている言語は以下の6つ。日本語も入っています。

What's new in VisionKitより

実装方法

VisionKit の ImageAnalyzer を用いた画像解析時に、 ImageAnalyzer.Configuration として .visualLookUp を指定するだけ。

let configuration = ImageAnalyzer.Configuration([.visualLookUp])
let analysis = try await imageAnalyzer.analyze(image, configuration: configuration)

（ImageAnalyzerによる画像解析の実装は前記事に書いています）

これだけで、Subject Lifting（前記事参照）と連動して、持ち上げられた対象物体に、Visual Look Upの結果が含まれている場合はメニューにLook Upオプションが表示るようになります。

また、ImageAnalysisInteraction の preferredInteractionTypes プロパティに .visualLookUp を指定すると、

imageAnalysisInteraction.preferredInteractionTypes = [.visualLookUp]

Visual Look Upの検索結果が存在する場合に、バッジが表示されるようになります。

What's new in VisionKitより

このバッジをタップすることで、Look Upの結果が表示されます。

What's new in VisionKitより

実機で試す

上述の通りコードとしてはシンプルすぎる程にシンプルなわけですが、実際には何がどれぐらいLook Upできるのでしょうか？サポートしているドメインは明記されているわけですが、たとえば Sign & Symbols といっても、日本の道路標識はLook Upできるのでしょうか？

iOS 17実機で実際に動かして試してみました。（末尾にフォトピッカー付きのサンプルコードを添付しているので、ご自身の写真ライブラリにある写真でも試してみてください）