5/23 連邦に反省を促すデザちゃん

連邦に反省を促すデザちゃん
#AIart pic.twitter.com/6zYAQbejsD

— あいおえおえかきの (@NovelAIoekaki) May 23, 2023

地味にやりたかかったことができて謎の感動が･･･🥺

今回はこれの作り方の紹介です。このような構成になってます。
①ControlNet1.1の導入と設定
②動画を白背景にする
③Mov2Movで動画を変換

【①ControlNet1.1の導入と設定】

ControlNetの拡張機能をインストールして、Hugging faceからモデルを全部ダウンロードしてControlNetというファイルの中に全部入れるだけです。
たぶんControlNet1.1で検索した方が早い。

あとはSetting → ControlNetのMulti ControlNetを2にするとControlNet Unitが増えます。つまり、複数のControlNetを同時に使えるということです。

【②動画を白背景にする】

Aviutlでなんやかんやして動画の背景を白っぽくしました。
最初は背景をいじらずにMov2Movしてたんですけど、背景のオブジェクトが人や髪に判定されて面倒だったので、できるだけ背景を消しました。

【③Mov2Movで動画を変換】

Mov2Movのタブに動画をドラッグ&ドロップします。
プロンプトも入れましょう。(solo, from front, looking at viewer:1.4)を入れておくと安定しますね。
特定のキャラを出すにはLoraが必須です。今回は自作の神デザちゃんLoraを使いました。

設定はこんな感じ。モデルはなんとなくDefacta3thにしました。

ControlNetの設定はこんな感じ。
Unit0ではopenposeを選択して、Unit1ではreference_onlyを選択。
Unit1にはキャラの参考画像も入れておきましょう。

あとは生成すればOKです。
23秒の動画を変換するのに2〜4時間(私の環境だと3時間)かかるので、気長に待ちましょう･･･🍵

ただし、最初は色々設定を試した方が良いと思います。
進捗10%くらいになったらInterruptすれば途中までの動画が保存されるので、確認することもできますよ。

説明は以上です。

鳴らない言葉をもう一度描いて〜♪