見出し画像

スマブラクリエイティブでpostshotを使ってみた

ke-go

ザックリまとめ

  • PostShot×AEが一番キレイに画を出せて動作も軽い

  • エフェクトとは相性が悪い

  • 超接近するシーンとは相性が悪い

  • 動画にUIなどの固定表示されるものがあるとうまく処理できない

極冠#7のOP映像制作を一部担当しましたke-goと申します。
今回はPostShotというソフトウェアを用いて3DGS(3D Gaussian Splatting)を活用した映像を作りました。

Twitter(現X)ではゲーム内撮影に3DGSを使った事例がなかったので制作時に気づいた点などをまとめようと思います。

3DGSの詳しいお話やPostShotの操作方法はこちらの記事を参考にすると良いと思います。
(私は3DGSに関して詳しい知識があるわけではないのでご了承下さい)


ゲーム内撮影×PostShotの注意点

PostShot成功例

まずはPostShotでどんな感じに映るのかを見ていただきましょう
(動画は基本音が無いです)

比較的キレイに見えます。
何より動作が軽い。グリグリ視点を変えることができます。
AEを使わずに、PostShot内でカメラを作成してそのまま書き出すこともできます。AviUtlやDavinciを使う人はその映像から加工をする形になりそう。

ゲーム内撮影は下の動画のように撮っています↓
(キャプチャボードが必要です)

全体を見渡すように半周する(上中下)→寄って撮る
のような意識で撮影していました。
撮影時間は1分程。
ここはまだ手探りの状態なので、より良い品質にしていきたいです。
(安価なキャプチャボードを使っているのでちゃんとしたものを使えばもっと綺麗になるかも)
公式のユーザーガイドによるとカメラは常に動かせ！焦点距離は変えるな！いろんな角度から撮れ！らしい

撮影した後は動画をPostShotに入れるだけです。
(細かいパラメータは特に操作していません)

Camera Tracking Step が終わったタイミングで撮影シーンに近い画になっていれば
大体上手く出来ている(逆に、こうなっていなかったら多分失敗している)

この撮影方法ではカメラの3軸が残っていますが、
これは除去することが出来ます。
(キャラクターと被らないようにする必要はある)

制作時にはこの機能を知らず、ノイズが残っていました。

従来の制作では3軸が映り込んでしまうと処理が大変なので、写り込まないように工夫して撮影する必要がありました。
3軸を気にせず、ゲーム内のカメラより自由な視点で制御できるため、
映像制作をする上で大きなメリットとなります。

じゃあ静止シーンなら全部これでいいんだ！！

とはなりません。

PostShot失敗例

・エフェクトの多いシーン
正確にはビルボードのあるシーンは上手く処理出来ませんでした。

常にカメラの方向を向く板ポリは3DGSにとってノイズになってしまいます。
セフィロスのNBに関して撮影したものが以下の動画です。

とんでもないことになります。
ファイターどころかステージすら判別できません。
ビルボードになっているエフェクトが多いシーンは避けて使用するのが良さそうです。

制作では、Sqkurqさんにお渡ししたルカリオとマリオのシーンで、波動弾がビルボードになっていました。

そこそこのノイズ

Sqkurqさんの方でノイズ除去後にカメラワークをつけて頂いています。

絶対波動弾当たるとか野暮なことは言わない

↓めちゃカメラワーク綺麗でカッコいいです↓

・UI表示のあるシーン
こちらはスマブラ以外のゲーム内キャプチャをクリエイティブに活かす際に役立つかもしれません
一例としてSplatoon3でのPostShotを試してみました。

<失敗例>

点群は割といい感じに構成されていますが、上手く処理出来ませんでした。
スマブラとの違いは画面に固定表示されているUIであり、この表示さえ消すことができれば上手くいくと思いました。

<成功例>

AEを用いて撮影データのUI表示を消す編集を施し、PostShotに入れました。
(コンテンツに応じた塗りつぶし)
キャラクター自体が上下に軽く揺れている影響でノイズがありますね。

同じようにステージを歩き回ったらステージの3DGS化もできました。
(ところでスプラトゥーンの大会クリエイティブ事情ってどうなんだろうか)

PostShotのエラー

現時点ではPostShot上で異なるplyファイルを置くことはできないようです
終点や戦場を1つのシーンに入れる場合はblenderなどの他のソフトを介す必要がありそうです

また、このようなエラーが出たときはMax image countを調整するとうまく行きましたが、この対処法が正しいかはよくわかっていません

AEでの操作感

PostShotのAEプラグインが提供されています。

平面にPostShotエフェクトを適用し、カメラで視点を移動させるのが基本だと思います。こちらも操作は比較的軽いです。

赤線のエフェクトはPostShotエフェクトのCropBoxプロパティとヌルのスケールを使っています。

超接近するシーンでは細部のノイズが気になるかもしれません

ヨッシーの手やミュウツーの輪郭がブレているように見える

この特有のノイズをどこまで許容するかを考慮しながら制作を進める必要があると思います。

blenderでの操作感

私は主にAEを使用していましたが、
Sqkurqさんはblenderで制作されていました。
制作して気付いた点をNotionサイトにまとめて頂いたのでぜひご覧ください

<まとめから引用>
PostshotからBlender側にエクスポートして使用する場合、Postshot側でノイズ除去やワールド原点を合わせてからエクスポートする事を推奨する。
また、Blenderで使用する場合は自分のPCスペックと相談し、ほどよい頂点数を考えて間引く事。

私の方では各シーンの繋ぎの部分でモーフィング的な点群アニメーションをしようと思い、blenderを使用しました。

モーフィング的な点群アニメーション

点群の情報だけを使いたかったので、3DGSをインポートしたときに生成されるジオメトリノードは削除しています。また、プレビューしやすくするためにジオメトリ削除(delete geometry)ノードで軽量化しています

雑に点群を削除しているの図

点群のアニメーションについてはこちらのアドオンを使ってみました。

blenderでc4dのMographっぽいことができる…らしい(c4d使ったことがないので分からない)
使い方に少し癖がありますが面白いことができる良いアドオンだと思います

今後の展望

他のツール(Unity,Unreal Engine)を使ってみたいです。
blenderの画はAEほど完全ではないのでUnityでいい感じにできたら使いたいです。

また、4DGSもやってみたいですね。

現実とは違ってリプレイ機能で全く同じ映像を撮影できるので、
複数視点動画を撮っていい感じにできそうじゃないですか？
一人だと心細いので一緒に試行錯誤しましょう。DM待ってます。


いいなと思ったら応援しよう！