iOSで顔を検出して感情分析してみる

映画などで顔を検出、分析して顔の隣にその人のステータスを表示するという描写を見ることがありますが、そういうのをiOSでやれないかなと思って試してみました。

やっていることはVision(カメラで様々なオブジェクトを検出できるフレームワーク)で顔部分を検出して、検出した顔から読み取れる感情をCoreML(iOSで機械学習を扱うフレームワーク)で分類しています。分類するために使ったモデルはこちらのAgeNetとEmotionNetというモデルです。感情は「Anger, Disgust, Fear, Happy, Natural, Sad, Surprise」の7種類に分類されるようです。

こちらのモデルを試した所感としては、「笑顔」はよく認識されていますが、それ以外の感情はそれなりな感じです。年齢もそれなりです。(年齢は高めになったりするとまずいことがあるので、気をつけよう。)

Visionフレームワークで検出できるモノは「顔」以外にも「バーコード」や「テキスト」があり、CoreMLで検出したモノを分類するモデルは無数にあるので、組み合わせるといろいろな分類ができそうです。

メガネ型デバイスが出てきて、リアルタイムに人や物を検出、分類して、そこにARで何か出現させるみたいなことが出来るようになると楽しそうだなーというモチベーションでいろいろと試したりしています。

ARを使ったiOSの開発を仕事でやっておりますので、実現したいアイデアがありましたらお気軽にご連絡ください。
https://si-ro.jp/about