ディープラーニングを用いて、動画からBVH形式のモーションファイル生成を試みる
ポリリズムのR&D部門のNです。今回は、「mp4などの動画データから人間の骨格およびモーションの検出を行い、そのモーションをBVH化 -> Unity上でHumanoidに適用する」といったことを試した際の話を書ければと思います。なお、BVHとは、Biovision社が提唱したモーションキャプチャデータのファイルフォーマットのことです。BVHはBlenderなどのツールで利用可能です。
モーション検出とディープラーニング骨格やモーションの検出はモーショントラッキングやそれら