作業日誌)iPhoneとNDIとUEでワイヤレスバーチャルプロダクション

バーチャルプロダクションと言えば、カメラにトラッカーをつけてケーブルでPCやサーバーと繋ぎ、リアルタイムでCGと合成する技術。

その中でも私が主に取り組んでいるのが、グリーンバックを使った、マルチカム・バーチャルプロダクション。
トラッカーにはお手軽にhtc VIVEのトラッカーを使い、UEと連動させてます。

本日の自習)iPhone & ワイヤレス伝送を試す

このケーブルを使った接続をワイヤレスにできないか、というのが本日の自習。

iPhoneの設定

iPhoneには「NDI HX Camera」というアプリをインストール。それだけ。

‎NDI HX Camera

NDI

PCにNDI toolsとNDI SDK for Unrealをインストール。
UEを立ち上げ、プラグインを有効化。

NDIを読み込むための設定をおこないます。

結果は

結果はこんな感じ。

iPhone + NDI + Unreal Engineでワイヤレス・バーチャルプロダクションのテスト。
NDIによる遅延は現時点では仕方がないかな。ただ、今後はこの構成もメジャーになっていくだろう。#バーチャルプロダクション #htcvive #virtualproduction pic.twitter.com/ZbxhhIYsIc

— Kiyotaka Uchino (@k_uchino) November 2, 2022

レイテンシーはNDIとLiveLinkの設定でどこまで抑えられるか。
次の課題は、NDIを使ってiPhoneのトラッキングデータを送ることですな。