【撮影編】Exographでのカメラ設置とデータ処理

撮影どうする？

ここ最近テレビでExographを取り上げて頂くことが増え、ロケまで行なって撮影シーンの状況を再現してもらったりと非常に感謝しています。
正直このブログで説明するよりも圧倒的に分かりやすくまとめて頂いているメディアの方を尊敬します。

今回は全てオフラインで完結

今回のExographで行う撮影は全てオフラインで完結します。
具体的にはノートパソコン・USBカメラ・外付けHDD・延長USBケーブル・USBハブを被験者に貸与して、動画の撮影を行います。
被験者が撮影をして撮り溜めているデータは、被験者がいつでも操作して確認することが出来ます。
そして確認済みの保存されたデータをスタッフが回収・買取していくという形になるので、常時リモートで監視されているという感じではありません。
カメラは強力両面テープで壁・天井へ設置を想定しています。

マスク処理

勘違いされている方が多い印象ですが、今回の社会実験では実際にデータを売買しません（今回は社会実験であってビジネスでは無い）。
マスクされた数分のサンプル動画を持って、企業や有識者へのヒアリングを行う予定です。

今回は提供された生データから、被験者と相談して決めたサンプルとして利用する部分へ以下のようなAI技術を用いて人物へのマスクを試みます。

一昔前にDeep Learning界隈で流行った、Facebookが発表したDensePose

今回取得される動画データは非常にWildなことが予想されるので、前処理・DensePose亜種など組み合わせて対応します。
マスク処理を行う際はオフラインの状態のGPU付きサーバーで計算する予定です。

上記の論文のように綺麗に人物がマスク出来ないことが当然予想されますが、その場合はきちんと人物が分からないように人力でマスクをするか、綺麗にマスクが出来た部分だけサンプルとして利用します。

そもそもDensePose使わなくても簡単に人物マスクが出来る方法をご存知の方がおられれば、是非一緒に取り組みたいです。

最後に

動画データの解析には、膨大なストレージや計算リスースを始めとして多大なコストが掛かります。
仮にAWSなどで1ヶ月分の動画をDensePoseで計算させると、今回被験者へお支払いする20万円よりもずっと高くつきます。
ユーザーへの価値の還元は、そのような計算コストやストレージ、マネジメントコストを差し引いた部分でも考えないといけません。
だからこれまで動画などはあまり手を付けられていないんだろうなと思いつつ、ポテンシャルのある領域だと思ってます。