#WWDC21 の予想（期待）

あと30分後なのですが、仮眠しようと布団に入ったものの眠れないのでいまさらですが予想というか、期待する発表について書きます。消費者としての期待ではなく（つまり新製品とかではなく）、いちデベロッパー目線で。

機械学習ベースの音声処理サポートの拡充

機械学習／ディープラーニングを用いた画像処理機能についてはiOS標準のAPIでもかなり充実してきたが、音声の方はまだまだこれからという印象。

画像処理でいえばVisionフレームワークのレイヤーに相当するのがiOS 13で登場したSound Analysisフレームワーク。

このフレームワークと、Create MLのSound Classificationテンプレートを利用して学習させたモデルを使って、アプリをつくってみたりもした。

10年ぶりに個人開発アプリをリリースしました🎉AIで人の声を抽出して動画の無音を自動でカットするアプリです。デザインは @daitorii さん。https://t.co/ELIDVJW8a2 pic.twitter.com/eo8VlzysXB

— Shuichi Tsutsumi (@shu223) May 2, 2021

しかしこのSoundAnalysis、今のところ音声分類（Sound Classification）タスクしかサポートしていない。

画像処理が画像分類タスク以外に物体検出、セグメンテーション、Style Transfer、類似度計算等々あるように、音声にもイベント検出（テンポや小節の頭の検出）や音源の分離、音源方位の推定等々さまざまなタスクがある。

SoundAnalysisだけでなく、Create ML, Turi Createも現状Sound Classificationしかサポートしてないので、このあたりで新機能の発表を期待している。

あとCreate MLのSound Classificationにしても、現状は自分でデータセットを用意してモデルを自作するしかないが、「人の声が入っているかそうでないか」「大人の声、子供の声、それ以外」「男性の声、女性の声」等々、汎用性が高いものはSoundAnalysisフレームワーク内に標準搭載するか、公式Core MLとして配布するかしてほしい。

Neural Engine APIもしくはReport

GPUに対するMetalみたいにがっつり専用フレームワークが出てくるところまでは期待していないが、たとえばXcodeのGPU ReportでGPUのフレームレートや負荷状況がわかる、みたいにNeural Engineで処理が行われているか確認できるようになるとか、

Neural Engineで処理されるレイヤー、そうでないレイヤーといった情報が確認できる公式ドキュメントが出るとか、何かしらNeural Engineに関して開発者側にも口を開けていく動きがあるといいなぁと。

AirTag / U1チップに関する何らかのAPI

U1チップを用いたインタラクションを可能とするNearby Interaction Frameworkというのが昨年登場したが、

これは「ディスカバリトークンを交換する」必要があり、その仕組み上、AirTagやAirPodsでは使えない。

AirPodsに関してはCore MotionにCMHeadphoneMotionManagerクラスが追加されたように、AirTagに関しても何かAPIが追加されても良さそう。

個人的には、iBeaconのハイエンド版的な使い方をしたい。

そういう意味ではCore Locationのリージョン監視あたりに手を入れてくれると嬉しい...

デプス@AVFoundation

LiDARをはじめ、ARKit専用となっている機能がたくさんある。ARKitとは切り離して、AVFoundationのレイヤーでもそれらを使えるようにしてほしい。

LiDAR以外でいうとセグメンテーション用のマスクデータを毎フレーム取得する機能とか（AVFoundationでは現状「リアルタイムでは」取得できない。保存した静止画から取得することはできる。）

Create MLでセグメンテーションモデルをサポート

Core ML ToolsのGUI的なやつ

Turi CreateのGUIがCreate ML、みたいな感じで、Core ML ToolsのGUIがあってもいいんじゃない？と。モデルの変換がドラッグ＆ドロップで済む、みたいな。input_namesに渡す名前とかは候補を抽出してくれてドロップダウンリストで選べる、みたいなイメージ。

ARKitの3Dオブジェクト検出の強化

「デプスを使わないことで幅広いハードで動く」を売りにスタートしたARKitだけど、今はLiDARなんていうハードを超限定する機能も入れちゃったわけだし、そろそろ3Dオブジェクト検出にテコ入れしてほしい。

BLEバックグラウンドまわり

バッテリーやセキュリティへの配慮でバックグラウンドでいろいろ制限しなきゃいけないのはわかるが、もうちょいこのへんどうにかなりませんかね...