AIで「７８％Dog」と検出されたお話

こんにちは！
ＢＦＴ名古屋支店・インフラ女子（？）のやまぐちです。

混雑状況可視化サービスはサービス名「こんどる？」として、着々と進んでおります。

【混雑状況可視化サービスとは】
・名古屋市内の小規模飲食店を対象に、店舗の人数とCO2濃度を測定しWebで公開する期間限定の無料サービス
・全国から募集した駆け出しエンジニア、学生で協力しながら作っている
・2021/09リリース予定！

店舗にはRaspberry Pi（ラズパイ）という手のひらサイズのミニコンピュータを置かせていただき、それに付けたWebカメラで店舗を撮影、人数をAIで計測します。

今回はWebカメラで撮影した写真をAIで分析した結果どうなったか、についてご紹介したいと思います。

撮った写真を分析するとこうなった①

あらかじめ定義されているものにヒットすると四角線で囲われ、四角の左上に数字（確率）と認識された結果が表示されます。左の女性は100%人、右の男性は98%人と認識されました。残りの2%は何なんでしょうか…。

左下に椅子も認識されています。
今使っているデータセットでは人や猫・羊・車など２０種類を認識することができます。

撮った写真を分析するとこうなった②

この写真は比較的正確に認識されています。
人（95%）だけではなく、テレビモニタや椅子、ダイニングテーブルも認識されているのがわかりますね。

撮った写真を分析するとこうなった③

次は実際にお店に設置した時を想定して上から＆遠くまで映すアングルにした結果です。
この写真は会社のイベントで集まった際にデモとして撮影しました。換気をこまめに行い、感染リスクが低くなるように対策しています。

この写真の結果は興味深いです。
手前に写る人間と奥で誰とも被っていない人間は問題なく認識されていますが、手前の人と被っていると、人として認識されません。

身体の一部でも人と認識されるのですが、人が被ってしまうとうまく認識されないようです。

これはカメラの置き場所に気をつけないといけないですね…。

撮った写真を分析するとこうなった④

③の写真とほぼ同じなのですが、こちらは真ん中の赤い服の男性が認識されていません。何が違うのか…人間的にはよくわかりませんが、AI的には何かが違うのでしょう。この辺りも面白いですね！

また、トップ画像で出した78%Dogとされた写真をもう一度よく見てください。奥に「0.80 Person」と人間でもあると認識されています。四角枠のサイズも違います。

青枠で物体検出されたものとしては犬で、紫枠で物体検出されたものは人間とされています。…左の手がヒゲのように認識されたのでしょうか…。

このように二重で結果が出る場合もあれば、認識されない場合もあります。今は解像度を変えたり、アングルを変えたりすることで一番誤差の少ない結果が得られるようにしようと思っていますが、設置する場所によっては複数のカメラを設置した上で計測する方が正確かもしれません。

終わりに

結果を見て一つ感じるのは、「Webカメラの限界」です。
Webカメラの焦点距離は５０㎝。もちろん遠くの物体を鮮明に撮影することはできません。写真を元にAIで物体を検出するのである程度性能のよいカメラを使う方がよさそうですが…こちらは店舗に導入する際に確認して予算と相談です。

人（Person）以外はクラウドへ情報を送信しないので、最終的に何と判断されているかは検証中しかわからないのですが、途中の写真分析がおもしろくて記事にしてみました！

ここまで読んでいただきありがとうございました～^ ^