『4K4D：4K映像からリアルタイムで立体化する4D AI技術』～【新しいweb3ビジネスのアイディアのタネ】2023.10.26
■4K4D：4K映像からリアルタイムで立体化する4D AI技術
「4K4D」と名付けられた、4K映像から時系列を持ったまま映像内のオブジェクトを3D化する技術が、中国の浙江大学などの研究グループから発表されました。
3Dに時系列を持たせているので4Dと称しているのですね。
上記のリンク先の元記事にはデモ映像が掲載されています。それを見れば何をやろうとしているかは一目瞭然です。
これが実用化されたら映像作品の作られ方や、SNSに投稿される映像もガラポンで変わってしまうほどの影響があると見ています。
消しゴムマジックの超応用版
Googleの「消しゴムマジック」は、2Dの写真を画像解析して、消すべきオブジェクトの抜き出し・抜き出した部分にあったであろう背景画像を周囲から想像して生成させるような技術です。
これの超応用版が4K4Dだと言えます。
映像の動きから背景と人物など別オブジェクトを分離し、ダンサーが踊れば腕や足などの立体感を把握し、クルっと回れば背中の模様も把握。カメラアングルが変われば背景の柄や位置関係も理解して、リアルタイムで3D化します。
そして、映像には映らなかった背中などは生成AIらしく映像から学習できる範囲で類推生成します。
リアルタイムで映像解析と3Dレンダリングと見えていない部分の生成を同時に行う都合、処理速度にはまだ限界があるとしています。
実験によれば、RTX 4090 GPUを用い、1080p解像度のDNA-Renderingデータセットでは400 FPS以上、4K解像度のENeRF-Outdoorデータセットでは80 FPSでレンダリングできる。
ハードウェアレンダリングに対応させたり処理を効率化させるなど処理速度を上げる工夫を多数盛り込んでいるとしています。
映画やCMなど映像作品のポスプロが変わる
映像から3Dデータが生成できるなら、映像作品の作られ方が大きく変わるかもしれません。
・撮影完了後に映像内での人物の位置を移動させる、
・不用な人物やオブジェクトなどを削除する、
・衣装を後から変更する、
・グリーンバックでやっていた演技を通常背景で撮影できるようになる、
などなど、今の撮影方法や、撮影後の後処理であるポストプロダクションの方法が大きく変わる可能性があります。
あとから修正しやすいように、まず出演者の全身を映像で撮ってAIに学習させるような撮影前の処理、プリプロダクションの工程も加わるでしょう。
映像内で抽出された人物の3Dオブジェクトを3D映像的に動かすことができるようになれば、実際の撮影時にはやらなかった動きを足したり、1人だけスピードを上げるなどの後処理もできるようになります。
俳優の演技をCGでエンハンスする映像の作り方は長年やられてきましたが、フルCGとモーションキャプチャーの次の映像革命になるのではないかと感じました。
スマホで4K4D処理ができるようになる
今はRTX 4090という高性能GPUで処理する必要がありますが、このような技術は処理チップの高速化と小型化により、必ずやスマホに入ってきます。
スマホで4K4D処理が手軽にできるようになれば、スマホで撮影される写真や映像の撮られ方や楽しみ方が大きく変わるでしょう。
インスタグラムやTikTokに投稿される写真・映像も4D化され、好きなアングルで見ることができたり、投稿された後に他の映像に登場する人物を混ぜ込むような遊びかたもできるようになるはずです。
たとえば「踊ってみた」動画でも、有名アーティストが踊っている映像の中に自分も一緒に踊っているように混ぜる、ということも4D化すれば可能になります。
併せて、踊っている背景シーンも生成AIで全く別の場所に置き換えたり、時代を大昔にしたりすることもできます。
3D ARで思い出を立体再現
Your memories — how you remember them pic.twitter.com/eRwIK6xYTF
— Wist: Immersive Memories (@WistLabs) February 21, 2023
以前ご紹介した「Wist」のような、ARと組み合わせて「思い出をARで再現する」ようなことも、より簡単で精度高くできるようになりそうです。
上記の映像では赤ちゃんを抱っこした女性をソファの上に再現しています。この赤ちゃんが成人した時に、いま目の前にあるソファにAR配置できたら相当ムネアツです。
これがスマホひとつでできるようになれば最高。
そんな未来が来る予感がします。
数年後の生成AIの進化
画像系の生成AIも進化していますが、まだ架空の画像を作る使い方や「消しゴムマジック」くらいの実用度です。しかし近い将来は映像にも対応するでしょうし、「動画版消しゴムマジック」や、今回の4K4Dのような立体化・AR化などの使い方もどんどん実用化されていくはずです。
数年後のプロの映像作品や、一般ユーザーのスマホとSNSの楽しみ方の変化・進化がとても楽しみです。