東京ゲームショウ2024でみつけたエンタメxAI技術！融合型モーションキャプチャー #NOKOV

東京ゲームショウ2024でみつけたエンタメxAI技術、前回のスイス発・感情リストバンドとクラウド分析「OVOMIND」に引き続き紹介するのは中国のモーションキャプチャーの機材メーカー「NOKOV」(ノコフ)です。

東京ゲームショウ2024「AIテクノロジーパビリオン」というゾーンでは、AI技術に注目したソリューションをもつ技術企業が数社か出展していました。AI技術が未来のゲームや映像制作を変えていくのかが注目を集めています。30年以上前から製品化が続けられているプロ向けのモーションキャプチャー分野ですが、ちょっと新しいアプローチで興味深い特に印象に残ったのが、中国のモーションキャプチャー機材メーカー「NOKOV」です。

「融合型」モーションキャプチャー技術

NOKOVは、中国の北京・上海・深セン市を拠点とする企業で、今回の展示で披露されたのは、彼らの「融合型」ともいえるモーションキャプチャーシステムです。特筆すべきは、上に8台、前後に3台ずつ配置されたカメラのシステムで、体全体の動きに加えて、手に持たれた剣の動きも正確にキャプチャーできるという点です。上の8台のカメラは赤外線マーカー技術が使用されており、正面の3台のカメラにはRGBカメラによってリアルタイム処理されています。

注目すべきは、このアクター（剣を持ったおじさん）にはマーカーが付いていないという点です。
★見えないけれど、足にマーカーが付いているのかもしれません（確認中）

ビジョンベースとマーカーベースの融合技術

興味深かったのは、NOKOVがビジョンベースとマーカーベースの両技術を採用している点です。ビジョンベースではカメラの映像解析で動きを捉え、マーカーベースでは人体に装着したマーカーを使って細かな動きを精密に計測します。この組み合わせにより、映像制作においてより多彩な表現が可能になっているのです。

一般の方には「これのどこがAI技術なの？」と、わからない可能性がありますが、これはまさにAI技術の融合ですね。
コンピュータビジョンによる姿勢推定はさまざまなアルゴリズムが提案されていますが、モーションキャプチャーの拘束な多点マーカー技術とビジョンベースのRGBカメラによる融合型のソリューションは、以下のような利点があります。

・特別なモーションキャプチャースーツを着なくてもいい
・オクルージョン（隠れ）や多人数に強い
・高価なカメラを増やさずに拡張できる
などなど…

Unreal Engine や Unity との連携

NOKOVのシステムは、業界でも人気の高い「Unreal Engine」や「Unity」と完全に連携しており、リアルタイムでの動作キャプチャーや、録画機能を活用しての編集作業が可能です。これにより、キャラクターの動きがより滑らかに再現され、映像やゲームの世界にリアリティが加わります。

多言語対応のユーザーインターフェース

さらに、ユーザーインターフェースは中国語が標準となっていますが、日本語を含む他言語にも対応しているため、日本のクリエイターにも使いやすい環境を構築できる可能性があります。

東京ゲームショウ2024で発見した「NOKOV」は、今後のエンタメ業界を大きく変える可能性を秘めています。AI技術と組み合わせたモーションキャプチャーの進化は、ゲームや映画、さらには新たな表現の可能性を広げるツールとして、これからの未来に期待が高まりますね！