Runway Gen-2でMusicビデオを作成した話し
今回久しぶりの投稿になるのだが、我ながら本当にマイペース(だらしない)と思っている。今後もマイペースで投稿していこうと思うのでコンスタントに投稿できない事をご了承頂きたい。
Rnway Gen-2
今回色々触った中で他にも紹介したいツールもあるんだけど、他の方々が紹介しているので割愛します。
今回はRunway Gen-2のみを使った感想を書きたいと思います。
Runway Gen-2で作成したMusicビデオ
無料プランで最初は遊んでいたのだが、クレジットが足りなくなりProプランへ加入したわけだが(月額35ドル)、、、
今後加入したり使ってみたいと思っている人(初心者)へ少しでも為になればと思い使用した感想を書いてみようと思います。
◯初めてRunway Gen-2を使おうとしている方へ(趣味でやる人)
・無料プランで試す事は画像生成ではない。(Text2imageは他でやる事)
・無料プランで試す事はText2Video、IMAGE+DESCRIPTIONのみ
・Videoを作成するにあたって、モーションの微調整を無料プランで覚える
・一貫性をもつ動画をどうやって作成するかトライアンドエラーする
上記の部分を明確にないで使用していくとクレジットがバンバン飛んでいくので注意して下さい。苦笑(あくまで個人的主観です)
画像生成はDALL-E 3やMidjourney、Stable Diffusion、その他のツール(商用利用でなければWeb版のImage Creator)で作成出来るのでそちらで画像を作成しておく事をおすすめします。僕はRunway Gen-2内で沢山画像を作成したため、Pro版に加入しているのにもかかわらず、クレジットがバンバン飛んでいきました。。灰
なので、予め素材は用意しておきましょう。
ストーリーはChatGPTで
ストーリーをChatGPTで作成するのは他の方々が記事にしているので、ここでは詳しくは書きません。唯一あげるとすれば、ChatGPTで出力した物語をシーン分割してもらい、分割したシーンの画像生成用プロンプトを作成。
他のツールやRunway Gen-2で画像作成。
Runway Gen-2で動画にするためのプロンプトをChatGPTで更に作成って感じです。Runway Gen-2用にChatGPTに出力してもらう事をすると楽になるかもしれません。僕はシーン分割してもらい、そのシーン毎にDeep L等で若干の色付けをしていきました。
Runway Gen-2で動画を作成してみた
いよいよここから本題になります。
僕が作成した動画を観てもらえばわかるのですが、1本(4秒)の動画を使い回しています。(クレジットがいくらあっても足りないから。灰)
4秒動画を25本作成しました。
本当はもっと作成したかったのですが、来月クレジットが入り次第続きを作成しようと思っています。
今回は動画をアスペクト比9:16でSNS用に作成します。
25本の動画でも誤魔化しながら作成しました。汗
作成した25本の動画は全てアスペクト比を16:9で作成したわけですが、youtubeショートやInstagram、Twitterで縦長の動画を作成するにあたり逆に助かったなぁと。(偶然の産物になったわけですが。。)
そのお陰か16:9で作成した動画をバンバンこすりまくったわけです。笑
例えば下の画像なんですが16:9で出力した画像です。
動画本編でも使用しています。
この画像をまずはRunway Gen-2で動画にします。
上の写真をRunway Gen-2内でIMAGE+DESCRIPTIONを使い、プロンプトを入れ動画を作成します。出来上がった動画は↓です。
これはフリー版で作成したため、解像度は720pで右下にRGBのオーブ?みたいな丸が付きます(赤、青、緑の丸いロゴね)。
しかし720pでも綺麗になるもんだなぁと、、
この動画作るのに何回も失敗しました。なぜなら少年のシルエットが崩れていくので・・
なので、動画にした場合シルエットを崩さず、綺麗な動画にするために無料版で色々試して欲しいと上記で述べたわけです。
他にも、
コレを動画にすると
このようになるわけです。
②の方は少年の髪が少し不自然かな？って感じで出力されてます。
これは僕のプロンプトが駄目なだけかと思いますが。。
②の方の動画は↓
ここのGeneral Motionの値を5のままで作成したからこうなったのかなぁと個人的に思うんだけど、どうなんだろう。。
①の方はここの値を2～3まで下げて、出来るだけ動きを少なくしました。ここの値を10まで上げるとすごい動きます。笑
風景とか数値を高くしますが、人物は崩れていってしまう・・
他にも
個人的には上の画像のチェック部分のみを適用して、General Motionを下げて作成したのが今回の動画になります。
人物のシルエットが崩れている動画に限ってはGeneral Motionを上げて作成した動画か、Motion Brushを使った動画になっているので参考までに。
(シルエットを崩さず動画を作成出来てる方は教えてもらえると嬉しいです。)
こうやってシードを固定しながら、プロンプト打っての繰り返しでクレジットをバンバン消費した結果、Pro版なのに40枚位の動画しか作れなくなった馬鹿野郎ですが、それでも先述で述べた9:16動画のお陰で素材をこすり回す事ができました。苦笑
以下、偶然に出来た作品の詳細です。
9:16で16:9の動画をこすり倒した
上の写真を9:16(1080 x 1920)にすると↓のようになります。
写真を拡大してはいますが、右側の背景はトリミングされています。(当然なんですが。苦笑)
ここの切り取られている部分を今回乱用したわけです。笑
この方法はクリエイターだったら絶対に褒められたやり方ではないのですが、今回はテストという事であしからず。。
本来は16:9の動画を丸々作りたかったのですが、25本(1本4秒)の動画では圧倒的に足りなくなり、急遽9:16を作成したわけです。汗
(上記でいかにもSNS用を作成すると述べてますが、結果SNS用の動画を作ったまでです。。沈)
結果
なんとか観れるかなぁと・・・
本来なら構想段階でアスペクト比やら構図を決めて出力しなければいけないんだが、作りたい気持ちが前に出すぎてしまって25本の動画(4秒×25=100秒)の素材で作ってしまいました。(^^;)
次回はちゃんと計画して取り組みたいと思います。
しかし、楽しすぎてお金が飛んでいく気持ちって皆さん解りますよね？？ｗ
Stable Diffusionをローカルで動かした方がコスパ良いの知ってるんだけど、Runway Gen-2やDALL·E 3、Midjourneyはスマホで全部出来るってのも醍醐味なわけです。(暇な時作れるので)
Runway Gen-2はもっとクオリティーの高い動画が作れれるようになると思うので今後に期待したいと思います。
今度は音楽作成AIの記事を書こうと思っているので宜しくです。
拙い文章ですみませんでした～
＊動画で使用している楽曲につきまして
2006年に自分が全国リリースしたアルバムから使用しています。Amazonやタワレコで販売してます。Apple musicやSpotifyや他のサブスクでも聞けるので興味を持ってくれた方は是非。
Youtube music
https://music.youtube.com/channel/UCGc-mHflJnMHB1HItIoHMAg?si=0uvMqXrS8L9R4b1c
Apple music
https://music.apple.com/jp/artist/soul-graffity/1499438945
Spotify
https://open.spotify.com/intl-ja/artist/6OEY7XSVPwpO9En1SvC3UP?si=N_iLp1VwTz6SZ-eWT_GKHg