AI動画で特撮に挑戦！

第二回AIアートグランプリに締め切りギリギリで応募しました。私の時計で23:59という残り数秒の世界でございました！

第三回AIアートグランプリ | 第三回AIアートグランプリ

前回はAI写真で漫画を作るということをやって準グランプリだったのですが、今回はAI動画関係の進化に合わせて動画にしました。ただ、あまり他の人がやってなさそうな縦動画にしています。

本記事は今回の動画作成の中でも一番活躍したAnimate-Diffでの実写風アニメーションについて、それもモーフィングについてとなります。

こんなのを作りました！作品の中のワンシーンです。人間じゃありえない口の開き方！90年代の映画で流行ったモーフィングに挑戦してみました。

巨大スライムの咆哮！

Animate-Diffとは？

Animate-DiffはStable Diffusion系のAI作画モデルでアニメーションが作成できるようになります。標準だと16コマ2秒間。

LoRAやDreamBoothと併用ができるので、自分の独自キャラのアニメーションも可能！こちらは私がコラージュで作ったケンタウロス画像からのLoRAでの実写風アニメーションです。

街中を歩くケンタウロス

Animate-DiffでLoRAを使うと動きが硬くなりがちでDreamBoothのほうがきれいに動く気がします。これもLoRAなのでちょっとぎこちない感じ。LoRAのほうがいろいろとお手軽ですけどね。

モーフィングの前に中割り手法について

今回のモーフィングは基本的にTDSさんの動画中割り手法です。2枚の動画をControlNetで指定することで中割りを作ってアニメーションさせるというもの。これはすごい！

Stable Diffusion web UIのControlNetをAnimateDiffに対応させたブランチを公開しました
２枚の画像から動画を作れます

ControlNetは近々大型アップデートがあるそうなので、プルリクエストはその後になる予定です
試したい方は現行のVerを使用してください

使用法は続きです pic.twitter.com/4mSFQ2mpIh

— TDS (@TDS_95514874) August 23, 2023

TDSさん手法の適用方法

TDSさんの公開時からControlNetがだいぶ更新されているので、改造時点のControlNetをTDSさんのリポジトリから取得。ExtentionsのURL for extension's git repositoryに以下のリンクを書きます。

https://github.com/TDS4874/sd-webui-controlnet.git

Stable Diffusion Web UI のExtentions

あとは以下のリンクからhook.pyを取得してscriptsフォルダに置きます。
https://github.com/TDS4874/sd-webui-controlnet/blob/animate-diff-support/scripts/hook.py

あとはStable Diffusion Web UIのセッティングタブでMultiControlNetを2以上の数にしましょう。

一番右上の項目です

このあとControlNetで画像を2枚選択すればOK。Enableにチェックを入れるとタブが緑色に変わります。ここでは私のキャラクターである渚の妖精ぎばさちゃんのLoRAを用いて「海の上を走るぎばさちゃん」を作ります。

ControlNetに画像をセットしてEnableにチェック

実写の場合の注意点

ここでTDSさんの記事ではControlNetのTileを用いているのですが実写系画像の場合はどうもTileだとあまり効いてくれないようです。

Control Weightは実写では高めのほうが良いかも

Cannyを選んでなおかつControl Weightも高め、Control Modeも「ControlNet is more important」にしないと指定画像とだいぶ雰囲気が違っていました。モデルやLoRAの問題もあるかもしれません。

あとはControlNet Unit1のほうにも画像をセットします。今回は1枚目の画像を左右反転しただけのものにしてみました。

1枚目の画像の左右反転

実際に作成してみたのが次のGIFです。おお、ちゃんと海の上を走っていますね！これも特撮的といえば特撮的ではありますが、本編はこれからです！

海の上を走るぎばさちゃん

ちなみにTDSさんの手法を用いるとLoRA使用時にもちゃんと動くようになってくれます。上のGIFは」ちゃんと動いていますよね。ControlNet未使用でLoRAのぎばさちゃんの走るシーンはこんな感じ。走り始めようとはしているんだけど。

走り始めそうで走らないぎばさちゃん

中割りの応用でモーフィング！

ここから本編の特撮手法について！特撮の中でもモーフィングというものをやってみます。なめらかに変身するという特撮です。CGが本格的に使われ始めたときに人気になった手法で、マイケル・ジャクソンの「Black Or White」のPVが特に印象的に使っていますね。5:30からモーフィングシーン。

モーフィングのために必要なこと

で、肝心のモーフィングのやり方ですが、先ほどのCotrolNetで中割と基本的には同じで、変身前の画像を1枚目に、変身後の画像を2枚目にセットします。それ以上に重要なのがモーフィングの前後画像をLoRAのチューニング画像に入れておくことです！当たり前といえば当たり前ですが。

1枚目

2枚目

そしてLoRAのチューニング画像がこちら。ほぼ同じ変身前後の画像が入っていますよね。

LoRAのチューニング画像

ちなみに巨大感を出すためにビルとコラージュしています。DucHaitenJourneyとBRAV5で出した画像を用いたコラージュです。

変身前後が入ったLoRAを用いて、中割手法を使うことでモーフィングができるようになるのです！

LoRAと中割組み合わせでモーフィング！

こんなのもできます。女性の顔からライオンの顔に変わるスフィンクス！

モーフィングスフィンクス

応用してみる

応用例として海から現れる巨大ぎばさちゃんです。

海から現れる巨大ぎばさちゃん

これのLoRAのデータセットはこうです。海に隠れているところと海から出てきたところの両方が入っています。中間の状態をもっと入れておけばもっとうまくアニメーションしたかも。

巨大ぎばさちゃんのデータセット

苦手なところ

今回最後までうまくいかなかったものに移動するだけのものがありました。遠くから近くへやってくるという動きをやりたかったのですがうまくいかず。もしかすると中間を入れるとよいのかもしれませんが。

遠くの状態

近くの状態

どちらもちゃんと学習画像に入れたのに作られたのはこんなの。移動しないでいったん消えて出てくるという。

いったん消えて出てくる

最後に

AI動画の進歩はすさまじく、有料サービスのHeyGenやGen2もすごいですし、Animate-DiffでもTDSさんがさらに新手法を作られています。皆さんがAI動画を楽しむ一助になれば幸いです！