［TikTok×日テレ縦型動画コンテスト］ボリュメトリックデータの使い方

2023年12月26日 11:17

JO1のクロマキー映像＆ボリュメトリックデータでMV制作が可能に !

日本テレビとTikTokが、共同で開催する縦型映像コンテスト『JAPAN VERTICAL MV CONTEST 2023 Powered by TikTok｜日テレ』にて、コンテスト課題曲を歌唱する、今話題のグローバルボーイズグループJO1のクロマキー映像およびボリュメトリックデータの配布を開始します。詳細は下記のコンテスト公式サイトをご覧ください。

本コンテストは、日本テレビとTikTokがタッグを組んで実施する、プロ・アマチュア含めた全てのクリエイターに門戸を開いた新しい映像コンテストです。実写・CG・アニメーションなど自由な表現方法を用いた「縦型ミュージックビデオ」をテーマに、＜縦型ならではの様々なクリエイティビティ、そして新たな才能あるクリエイターを発掘する＞ことを目的としたプロジェクトになっております。

なお、本コンテストで配布するボリュメトリックデータは、新たな都市体験を創出する企業やクリエイターとの共創の場「TOKYO NODE LAB」（虎ノ門ヒルズステーションタワーの8階）にて撮影を行ったものです。

撮影の模様を12/21日放送のSENSORS で一部紹介しておりますので、ご興味のある方はご視聴ください。（https://tver.jp/episodes/epyfk30sqr）

（12/27更新）

■BlenderでのAlembicデータのインポート手順

◆メッシュデータの読み込み方

1.［ファイル］→［インポート］→［Alembic(.abc)］をクリック

2.［Blenderファイルビュー］画面が立ち上がったら、配布した .abcファイルを選択し、手動トランスフォームスケール［0.001］にし、［Alembicをインポート］をクリックすると、メッシュデータが読み込まれます。

3.［出力プロパティ］で、フレームレート［30FPS］に設定し完了です。

◆テクスチャ設定

＊以下はポートフォリオ審査に合格された方向けです

1.メッシュデータを選択した状態で［マテリアル］→［新規］をクリック。

2.［マテリアル］→［サーフェス］内の［ベースカラー］をクリックし、
　［画像テクスチャ］を選択。

3.［画像テスクチャ］の［開く］をクリックし、配布ファイル内の .mp4を選択。

4.［画像テクスチャ］のフレーム［1331］、開始フレーム［0］、オフセット[0]、自動更新［ON］に設定。

5.［3Dビューのシェーディング］をクリックすると、テクスチャの反映をプレビューできます。

■Cinema4DでのAlembicデータのインポート手順（バージョン2024を推奨）

1.［ファイル］→［プロジェクトを開く］

2.スケールを［0.1］に設定する

3①.［マテリアルマネージャー］を開く
3②.［新規デフォルトマテリアル］を作成

4①.mp4動画テクスチャを読み込み
4②.ボタンを押して［アニメーション］をクリック
4③.ムービーの開始フレームを［4］に変更

5①.ビューの［レンダリング］をクリック
5②.［インタラクティブレンダー］を選択
5③.プレビュー画面ではテクスチャの確認が取れませんが、
　［インタラクティブレンダー］でテクスチャの確認ができます。

*作業の際は、一時的にAlembicのアニメーションを切って作業することをおすすめします。

(12/29更新)

■TouchDesignerでのAlembicデータインポート手順

1.タイムライン設定

今回配布されるデータは30fps , 1330フレーム（約44秒）の素材のため、GUI左下にあるタイムライン設定を変更します。
FPS[30.0]、End[1330]、REnd[1330](Loopモードの場合)
こちらはダンスの振付け一回分をループで再生する際の設定のため、振付けのタイミング指定などを行う場合は適宜変更してください。

2.Timeline CHOPを配置

UI下部に表示されるの再生フレームの値をCHOPデータで取り出します。

3.Alembic SOPで読み込み、数値を入力

AlembicデータはAlembic SOPを配置し、ファイルパスを指定するか、explorerやFinderからのドラッグ&ドロップでも配置可能です。
配置したら下記を行います。
①Alembic SOPのTimeにTimeline CHOPの値を代入
②FPS[30]に指定

4.テクスチャ設定

＊以下はポートフォリオ審査に合格された方向けです

テクスチャとなるmp4ファイルはMovie FIli in TOPでファイルパスを指定するか、explorerやFinderからのドラッグ&ドロップでも配置可能です。
配置したら、Play Modeを[Locked to Timeline]に変更します。
あとは通常の3Dモデルのレンダリング処理と同様で、Geomaetry COMP, Light COMP, Camera COMP, Render TOPを配置し、上記のテクスチャを割り当てたマテリアルをGeometryに指定してください。

(1/5更新)

■UnityでのAlembicデータのインポート手順

◆動作環境

Unity 2022.3以降
インストールパッケージ
- Alembic for Unity
- KlakHap (0.1.20以降)　＊@_kzrさんのAlembicインポートサンプルを参考にさせていただいております。

1.パッケージのインストール

◯manifest.jsonからインストール

{
  "scopedRegistries": [
    {
      "name": "Keijiro",
      "url": "https://registry.npmjs.com",
      "scopes": [
        "jp.keijiro"
      ]
    }
  ],
  "dependencies": {
    "com.unity.formats.alembic": "2.3.4",
    "com.unity.timeline": "1.8.6",
    "jp.keijiro.klak.hap": "0.1.20"
  }
}

◯手動でAlembicパッケージとKlakHapパッケージインストール
　Unity RegistryからAlembicをインストール

　keijiroレジストリを設定後、My Registriesからインストール

ただし、KlakHapはここからインストールするとバージョンが0.1.15になります。タイムラインをシークしてもテクスチャがついてこない場合があるため、最新の0.1.20を推奨いたします。

2.Alembicをシーンに配置

3.マテリアルにHapを当てる

マテリアルの準備
- RenderTextureを作成(ここではVideo01)
  - 2048 x 2048
- Materialを作成
  - BaseMapに先に作ったRenderTexutreを当てる
Hap PlayerでRenderTexutreに焼く
texture.mp4をffmpegでhapに変換
- ffmpeg -i .\\texture_2K.mp4 -c:v hap hap.mov
StreamingAssets内に置く
Hap Playerコンポーネントで以下を設定
- ファイルパス
- RenderTexutre

4.Timelineを作成し、AlembicとHapを同期させる

Alembic、Hap Playerともにタイムラインに設定します。

Alembicトラック
Controlトラック

が作成されます。これでメッシュとテクスチャの同期ができ、再生可能になります。

(1/31更新)

■Unreal EngineでのAlembicデータのインポート手順（4.7、5.2で検証）

事前準備：テクスチャ動画をjpeg連番に変換して扱います

1.abcファイルをジオメトリックキャッシュとして読み込む

2.シーケンサー内でメディアトラックを作成し、
　右クリックで【セクションの編集】を開く

3.メディアソースとメディアテクスチャ両方にjpeg連番のリンクをはって、再生が可能になります。

ご不明な点があれば、以下よりお問い合わせください。
info@japanverticalmvcontest.com