【CLIMAX佐世保上映記念】『Reverie』制作の裏側 -48時間で制作されたバーチャルプロダクション作品-

2024年11月18日 20:32

皆さんこんにちは！
TORCH VISION STUDIOS広報部…
ではなくトップランナーの羽生優です。

今回の記事ではTORCH VISION STUDIOS 初映像作品である『Reverie』が渋谷佐世保TANPEN映画祭で長崎県知事賞NOMINATE 03に選出されたことを記念し、本作制作の裏側を皆様にご紹介したいと思います。

プロジェクト発足

- 制作理由 -

そもそもなぜ本作を制作するに至ったのか。それは2024年1月頃まで遡ります。

当時TORCH発足前で、私は初作にどういった作品を制作するか悩んでいた時、とあるコンテストのことを思い出しました。それは48時間でバーチャルプロダクションを使用した映像作品を制作するコンテスト『48H Virtual Production Filming Contest』のことでした。

48H Virtual Production Filming Contest
アジアバーチャルヒューマン協会(AVHA)が主催する世界最大のバーチャルプロダクションコンテストのこと。参加者は与えられた制約のもと、48時間以内に特定のテーマや目標に基づいてオリジナルの映像作品を制作する。

48時間という短時間で最新VFX技術 “バーチャルプロダクション”（以降 VP と表記）を活用した映像作品を制作するという条件は、まさに私の理想としていたものでした。

しかし、VPを行うにはスタジオの手配やVPのノウハウなどを学ぶ必要があり、あまり現実的ではありませんでした。そこでVPの専門家でもいらっしゃる渡部健司教授（*1）に相談をしたところ、VPスタジオの手配や技術教示などをしてくださるとのことでプロジェクトが本格的に動き出しました。

そして誕生したのが『Project: NEBULA』です。

*1 渡部健司
早稲田大学卒業後、JCGLやナムコなどを経て独立し、TV-CMや映画、PVのCG・VFX分野で豊富な経験を持つプロデューサー・スーパーバイザー。AOI Pro.や旭プロ、円谷プロなどでCG部門の立ち上げに関わり、人材育成やシステム設計にも貢献してきた。2004年から横浜を拠点に「DigitalCamp!」を主宰し、クリエイティブイベントを多数プロデュース。教育分野でも大学の教鞭を執り、学生支援プロジェクト「デジキャン！」を立ち上げ人材育成に注目。現在は東京国際工科専門職大学で教授として活動しつつ、VFXスーパーバイザーとしても精力的に活躍している。

出典：https://master.digital-campus.info/?page_id=2

- 『Project: NEBULA』 -

制作するにあたりまずプロジェクト名を考えました。これは私が映像作品を制作する際、ファイル名の統一及びそのプロジェクトに関わる人（と自分）の士気向上を目的にプロジェクト名を付けるようにしているからです。

しかし、今回は48時間の中で発表されたテーマに沿って作品を制作するため作品名を事前に決めることができませんでした。そのためテーマが発表され作品タイトルが決定するまでの仮名が必要でした。

そこで様々な候補を挙げ、その中から"いくつもの可能性の中から輝く一等星を見つけだしさらに輝かせる”という意味を込めて星雲を意味する『NEBULA』をプロジェクト名としました。

メンバー集め

最も苦労したのがこのメンバー集めです。なぜならTORCHにはVPを行うために必要なUnreal Engine（*2）を扱える人材が一人もいなかったからです。

*2 Unreal Engine
エピックゲームズが自社で開発したゲームエンジン。NASAの宇宙飛行士訓練やウォルト・ディズニー・カンパニーの映画製作とテーマパークに利用されるなど様々なジャンルで使われ、「最も成功したビデオゲームエンジン」としてギネス世界記録にもなっている。

出典：https://ja.wikipedia.org/wiki/Unreal_Engine

さらにコンテストの規約で参加できる人数は1チーム3人までとされており、同じ学校に所属している必要がありました。

私はこう思いました…『これVPやるよりも難しいのでは？』と。
しかし私が想像していたよりもこの問題は早く解決しました。

まず一人は、現TORCH エンジニアである鈴木康太くんです。彼とは前々から一緒に作品制作をしてみたいと話しており、その話の中でUnreal Engineを触れることが発覚しその技術力の凄さに私が惚れ即スカウトしました。このプロジェクトの詳細を話すととても興味を持ってくれ参加を決めてくれました。

もう一人は、現TORCH CGランナーである柴田流維くんです。彼はモデリング技術にたけており、そのセンスからスカウトしました。しかし、彼は私と同じでUnreal Engineを扱えなかった為、私と共にコンテスト直前まで猛特訓の日々でした。

事前準備

このプロジェクトが正式に動き出したのは2024年4月上旬頃でした。そこからコンテストが始まるまでの約1か月間、我々がどういったことをし何を学んだかを皆さんにご紹介します。
と言っても、すべて説明するととても長くなってしまうので、今回はその中でも特に重要な部分をいくつかご紹介させていただきます。

- バーチャルプロダクション（Unreal Engine） -

今回の制作で最も重要な技術であるバーチャルプロダクション。この技術は、リアルの人物・物体の背面に設置したスクリーンにバーチャル背景（3DCG）を投影し、これらをリアルタイムで合成することです。

まず最初に取り組んだことはUnreal Engineを覚え、バーチャルプロダクションの基礎を学びました。そこから仮想環境でテストを繰り返し行い本番に備えました。

実際のVPスタジオでテストを行いたかったのですが、諸事情により行うことができませんでした。ですが、渡部教授のご協力によりそれに近いしい環境でテスト行うことができVPへの理解をさらに深めることができました。

- ディープフェイク -

VPの次に力を入れていたのがディープフェイク（*3）です。残念ながら本編で使用することはできませんでしたが、短時間でかなりの精度のものを出力できるようになりました。

（ディープフェイクは今後のTORCH作品で使用予定です。）

*3 ディープフェイク
AI技術を使って人物の顔や音声を別人のものと置き換える技術のこと。

- 3Dスキャニング -

VPスタジオで撮影できる時間は非常に短いため、全てを実写（VP）で撮影することはあまり現実的ではないと思ったので、ポストプロダクション（編集）で対応できるよう3Dスキャニング（*4）を行えるようにしました。今回はiPhoneで3Dスキャンを行うことができる『3D Scanner App』というソフトを使用し、リグ付け（CGモデルに骨をつけて動かせるようにすること）は『Mixamo』ました。

しかし、モデルに若干穴が開いたり質感が少しおかしくなってしまうなど問題点が多々ありました。ですが48時間という短い時間の中で簡易的に、また短時間でスキャン&モデルの生成を行うことができるという点からこのソフトの使用を決めました。

*4 3Dスキャニング
物体や空間の形状をデジタルで立体的に取り込む技術のこと。専用のスキャナーやカメラを使用し対象物の表面の形や質感を細かく記録し、コンピュータ上で3Dモデルとして再現する。

- Unreal Engineの条件設定 -

今回事前にVPスタジオでテストが行えなかったためUnreal Engineで制作するレベルにいくつかの条件を決めレベル制作を行いました。また、渡部教授の研究室に所属している研究員の方にアドバイスをもらい、Unreal Engineファイルを軽量化させVPに特化したプロジェクトを作成しました。

- 想定テーマ -

テーマはコンテスト開始とともに送られてくるため事前に知ることが出来ません。その為、今回はいくつかのテーマを予想し、それに沿ったストーリーを考え汎用性の高い９つの背景を制作しました。
（以下の画像はその一部です。）

しかし、とある理由からこの背景とストーリーを使うことが出来なくなってしまいました…。

コンテストスタート！

2024年5月18日（土）、本番当日。パソコンや機材、使うであろう小道具などを拠点に持ち込み準備万端。

そして18:00（日本時間）になり48時間の死闘が始まりました。

全体のワークフロー（制作工程表）は以下の通りです。

通常の映像制作とは異なりVPを使用する制作をする場合、CG・VFXの制作はポストプロダクション（撮影後）ではなくプリプロダクション（撮影前）に行わなくてはいけません。その為シナリオ作成後すぐに撮影を行えず様々な工程をこなす必要があります。

ここでは48時間中に起こったいくつかのエピソードをワークフローに沿ってご紹介します。

想定外のテーマ

コンテストが始まりコンテスト事務局から今回のテーマが送られてきました。前回（第一回目）では『light』という単語がテーマだった為、今回も前回同様単語が出題されると思い、事前にテーマを予想しそれに合わせてストーリーやCG等を準備していました。

しかし、実際に出題されたテーマは単語ではなく、3枚の画像から一枚選びそこからストーリーを作成しなさいというものでした。

困惑しましたがそんなことを考えている時間などなかった為、さっそくストーリーを考え始めました。用意しておいたストーリーから派生させることも可能でしたが、単語でない以上元の案に縛られてしまうと画像の意図から逸れてしまい良い作品ができないと判断し、3時間でストーリー（プロット）を制作しました。

3人で話し合っている中で（C）の画像からは他の画像では感じることの出来ないメッセージが込められていると感じ、（C）の画像からストーリーを作ることに。そして誕生したストーリーが『Reverie』です。

栄養剤でビデオコンテを作成…？

18日21:00頃にはストーリー（物語の方向性）がある程度固まったので、鈴木/柴田の両名にはUnreal Engineで背景制作を行なってもらい、私は画コンテ制作をしました。画コンテが完成したのは19日（日）の00:00頃で、3人で確認をしたのち、私は昼の撮影に備えて仮眠を取りました。

04:30に起床。2人が作成した背景の確認を行い3DスキャニングのR&D（Research and Development）やプロップ（小道具）制作を行いました。

画コンテだけではシーンの構成がはっきりしなかったのでVコン（ビデオコンテ）を制作することにしました。しかし、画コンテをスキャンし編集する時間がなかったので、手元にあった栄養剤を撮影し作成することに。しかし、シーンの構成は確認できたのですが、私以外誰にも伝わらない謎のVコンテが出来てしまい、結果的に無駄な時間を過ごしてしまうという凡ミスを犯してしまいました。（監督としては不安要素が解消できたので良かったですが…）

朝6時に役者決定！？

3DスキャニングのR&D（Research and Development）やプロップ（小道具）制作等と同時進行で行っていたのがキャスティングです。なぜこのタイミングだったのかというと、ストーリーが出来上がり、Unreal Engineの背景に問題がないかをチェックした後でなければならなかったからです。

すべてのチェックが終わり、すぐにキャスティングを始めました。事前に声をかけていた人の中から、キャラクターのイメージに一番近しかった熊田滉平さんに声をかけたところ快く受けてくださり即決定しました。

役者との当日のやり取り（人のアイコン：羽生（監督）　くまのアイコン：熊田（役者））

よくよく考えると撮影当日の朝連絡が来て、撮影30分前に台本が渡される現場なんて、役者側からしたらたまったもんじゃありませんねw

撮影開始もまさかのトラブル

19日（日）12:00、撮影現場であるTELMIC Studio Soka（*5）（以降テルスタと表記）に到着。

*5 TELMIC Studio Soka
テレビ・舞台の特殊演出を手掛けているテルミックが2023年11月に作った横8m×縦4mの大型LEDウォールを完備したVPスタジオ
公式サイトはこちら

渡部教授の研究室と合同で使用するため撮影時間は3時間しかなく、早速撮影を開始！
…しようと思ったのですが、ここでトラブルが。なんと持ってきたUnreal Engineのファイルが読み込まれないという事態が発生！

必死で原因を探るもなかなか解決せず、解決した時にはすでに40分が経過していました。トラブルで撮影がおすことは想定内だったので、その間私は演者への演技指導を行うことに。

トラブルが解決し、ようやくUnreal Engineのファイルが読み込まれれるようになり、これで撮影できる！
と思ったのもつかの間…　新たなトラブルが発生。今度はスタジオにあるカメラとPCが接続できないという問題が発生。

このトラブルは想定外だったため、先ほどのトラブルよりも解決するのに時間がかかり、終いには現場が騒然とし出しました。

鈴木/柴田がトラブル解決をしてくれている間、私は残りの時間で撮り終われるよう画コンテを切り直しカット数を減らしました。

さらに、少しでも時間を有効活用するため役者の3Dスキャンニングもこのタイミングで行いました。

3Dスキャンニングを行っている様子
（プライバシー保護のためモザイク処理がされています）

1時間後ようやく問題が解決し、撮影が始まりました。この段階ですでに持ち時間の半分以上を使い切ってしまっていたため、通常の撮影の2,3倍のスピードで撮影しようとしましたが、相手は初めて触る技術。そう簡単に出来るはずもなく、1カット目を撮り終えるころには残り1時間を切っていました。

そんな最中、さらなるトラブルが…。森林パートの撮影が終わり、別のシーンで使用する草原に切り替えたところ、なんと草が読み込まれないという事態が発生。もう撮り終えるのは無理だと思いましたが、このトラブルはすぐに解決することができ、すぐ撮影を再開することができました。

持ち時間の3時間が経ちVPで撮影できたカット数はなんと4カットのみ。最後はグリーンバックに切り替え撮影しましたが、それでも7カットしかありませんでした。

椅子に座り一旦落ち着こうとしましたがそんなことができるはずもなく、頭の中ではこの作品が完成できているビジョンが全くできなくなっていました。

そんな最中、我々に一筋の光が差し込みます。なんと、渡部教授が事前に組んだ撮影スケジュールには予備時間があり、さらに研究員の皆さんの撮影が少しだけ早く終わったことで30分程撮影できる時間ができたのです。これを逃さんとばかりに撮影をさせてもらい、30分でなんと7カット撮ることができました。

どうにか映像作品として仕上げることの出来る素材数を確保でき、安堵でその場に倒れ込みそうになりました。ですが、力を抜くことはできません。なぜなら、最後の工程である編集とVFXが待っているからです。

迫る締め切り…　トラブル連発！？

20日（月）、撮影が終わりいよいよ大詰めの編集作業に入りました。コンテストは48時間ですがほぼ3日間活動しているため、全員に疲れが見え始め作業中の会話がだんだんと減り、表情がなくなり始めていました。

そんな最中、またもやトラブルが発生。多すぎるのでまとめて書くと
・想定していたことが急にできなくなった
・ファイルの読み込みができない
・テクスチャ（CGモデルに貼る画像）が反映されない
・アニメーションが想定している動きと違う動作をし始めた
・とあるオブジェクト（物体）だけレンダリング（画像の書き出し）されない
等のトラブルが起こりました。