見出し画像

RunwayでSketchfabの360VRをスクショして動画生成AIを試す｜DAZ Studio 2025

吉良浩明（きらやん）

DAZシーンをSketchfabにアップロードし制作した360°VR作品をスクショし、それを用いて動画生成AIの「Runway G3 Alpha Turbo」で5秒と10秒のショート動画を生成してみたのでX.comでいくつか紹介します。

note.comの有料記事の有料エリアで閲覧できるSketchfabの360°VR作品に求められる要件について検討し検証する、実験的な試みの一環ですが・・・


Runway G3の紹介動画

Runway G3 は、動画生成AIの中でも、プロがビジネスに使い始めているオンラインサービスなので、生成される動画のクオリティーは現時点では最高レベルですが、一方で、初期投資（時間・労力・金）もかなり必要かも・・・💦

★ G3 Alpha Turboは、DAZ Studioで30秒程度の動画を一晩かけて寝ている間にレンダリングしていた頃から比べると、5秒や10秒の動画が１分程度で生成できてしまうので感動モノではありますが、逆に沼にハマってしまい、課金が・・・💦

苦労した最初の5秒と10秒の動画生成

最初はRunway G3の使い勝手がわからず、試行錯誤を繰り返したので、かなりの時間と労力、さらには課金（12ドル）を必要としましたが・・・

上記は、360°VR作品をスクショした画像の初めと終わりの２枚ですが、以下は中間に横向きも挿入しズームしているせいで、変化を取り入れると動きが変になる・・・💦

スクショ画像に使ったSketchfabの360°VR静止ポーズ作品は以下です。

★ 当初はグリーンバックのスクショ画像から動画を生成すると、プロンプトで背景を自由に設定できるかも？と期待しましたが、現時点ではできなかったので、結局は画像自体に背景を合成して使うことに・・・💦

★ この作品などは「Download Free…」となっていますが、現在はライセンスの関係で無料ダウンロードはできないように変更しています。

今後は、note.comの有料記事の有料エリアで閲覧可能な作品については、ダウンロードできる条件を整えていく予定です。

３枚のスクショ画像のみでプロンプト無し

プロンプトは、私にとっては個人的にはやっかいなものなので、Geminiに助けてもらったりもしましたが、今回は、３枚のスクショ画像のみでどこまでプロンプト無しで生成できるのか？にチャレンジしてみました。

最初に苦労したウォーキングの動画生成に比べると、遥かに効率良く生成できるようになり、ほぼイメージどおりの動画を、試行錯誤無しに短時間で生成できるので、課金をあまり気にする必要なく取り組めるようになりましたが・・・

スクショ画像に使ったSketchfabの360°VRアニメーション作品は以下です。

★ この作品などは「Download Free…」となっていますが、現在はライセンスの関係で無料ダウンロードはできないように変更しています。

今後は、note.comの有料記事の有料エリアで閲覧可能な作品については、ダウンロードできる条件を整えていく予定です。

Sketchfabの360°VR作品に求められる要件

現時点では、以下のような要件が必要な気がしています。

・背景あり
・アニメーション付き
・Runway G3 Alpha Turbo の編集機能との補完関係

プロンプトや画像生成AIが生成した画像から生成する動画の場合は、イメージに近い作品にもっていく過程が、個人的にはたいへんだと感じています。

★ これは生成AIの使いこなしスキルによって、感じ方は変わってくるとは思いますが・・・💦

現時点ではスクショ画像３枚からプロンプト無しで動画を生成し、そこからRunwayの機能を活用したカメラワークや雰囲気などを、プロンプトなどで変化させるというアプローチが、効率的かつ効果的だと考えます。

いったん生成した動画をベースに、「動画 to 動画」で新たな動画を生成するというアプローチも今後試してみたいと思います。

まとめ

Sketchfabの360°VR作品をスクショし、それを用いて動画生成AIの「Runway G3 Alpha Turbo」でショート動画を生成してみたので、結果とともに紹介しています。

この結果から、note.comの有料記事の有料エリアで閲覧できるSketchfabの360°VR作品に求められる要件について検討していきたいと思います。

関連リンク


いいなと思ったら応援しよう！