立ち絵を作ってみた話
こんばんは。
そもそもヘッダーの画像がAnimateDiffと言うよりは、動画編集じゃね？というツッコミはしないで下さい。
今日はそもそもAnimateDiff系のものがいっぱいありすぎて、何が一番良いのか？とかわからないので、私の知る限りまとめてみました。
注）私も動画作成を始めてまだ１か月も経ってないひよっこなので、色々と間違っているかもしれません。
また、トレンドは変わりやすいものなので鵜呑みにしちゃいかんです。
なんか違ってたり、漏れてたりしてたらぜひコメントいただけたらと思います。
アニメの作り方について[基本事項]
ホントいろいろありすぎてよくわからないのですが、私の理解ではアニメは静止画の連続で構成されています。
今までStableDiffusionで出力しているあの絵を１枚１枚少しずつ違った感じに並べて、パラパラ漫画のように再生することでアニメが動きます。
ここで、フレームレート（FPS）という言葉があるのですが、これは１秒間に何枚写真を出すか？というものになっていて一般的なiphone等で撮った携帯動画、一般のテレビ放送では30fpsとなっています。（4K, 8Kは60fps）
つまり１秒間に３０枚の写真が必要となります。
映画は24fpsらしいので、それでもいいですね
という事は、一般的な動画を作る場合、１分だと30*60=1800、1時間だと30*60*60=10800枚写真をStableDiffusionで作成する必要があります。
口パク、まばたきをする動画
10800枚のパラパラ漫画を作るのは少し難しいとしても、目と口だけ開いたり閉じたりすることは、Inpaintを使えば可能ですよね。
この原理を利用して目と口をたまに閉じたり開いたりすれば、もはや生きてる人の動画になるんじゃないか？という気がして実験してみました。
とりあえずこれらの絵はStableDiffusionでInpaintを用いて、目だけ、口だけ変更して作ります。
ちなみに閉じ具合・開き具合は(close eyes:0.5)とか(open mouth:1.3)とかやって調整します。
で、こういうの作って、ふと「ずんだもん」の事を思い出しました。
そういえば、Youtubeの解説動画とか、こんな感じで作ってるなと。
「立ち絵」と呼ばれるセットがコレですね。
で、フリーの立ち絵ソフトの代表格と言えば、ゆっくりムービーメーカー(YMM)。
きっとYMMなら絵さえ用意すればキャラ作って動いてしゃべってくれるんじゃないの？
とググった所本当にそんな感じでできそうでした。笑
そして全部フリーでできるみたいでした。よかった。
で、作ってみたところ、こんなものができました。
どうでしょう？
まーなんか、精度はいまいちですがそれっぽく動きますね。
で、これなんですが、こんなに苦労して作ったのですが実際はAIを使った作成アプリがすでに存在してました。
これ使うとマッハで写真アップロードするだけでつくれるというね…
Youtubeとかで使うなら、D-IDが良いのかな？
でも設定さえすればYMMはかなり細かい事も出来ますし。なんせ全て無料！！
D-IDはなんというか、AnimateDiffを「あにまてでぃふ」って言うのを変更できなかったり、抑揚が微妙なのを調整できなかったり、キャプションが自動で入らなかったり。
細かく解説動画作るにはまだ機能がたりねーんじゃねーの？と思いました。
あと、これで立ち絵を作った後に結局YMM等の編集ソフトで背景やテキストを入れないといけないのでは？と思いました。
しかし、写真１枚から表情豊かに動く動画になるのは素晴らしい。
私がStableDiffusionで手作業でやったら、慣れてても２時間はかかります。
エアプなので実際のところは知りません。だれか教えてください。
あ、YMMですが、目、口だけでなく眉毛、髪の毛、その他いろいろな部分を変更する事ができます。
おどろいた顔、悲しい顔、笑顔などを設定して感情を入れる事も可能です。
なので、きちんとキャラが立っていて細かく設定していくならYMMの方がいいのでは？と思います。
お気楽にそこらへんのブログ記事をコピーしてyoutubeに貼って全部AIで作って楽ちん！みたいなことしたい人はD-IDで課金してやったらいいのではないでしょうか。
ちなみに、この実験を行った結果、私は簡単youtube配信セットを手に入れました。
嬉しくて調子に乗ってツイートでこの絵の動画をクソリプしまくったのですが、反響は０で出会い系の業者フォロワーが３人ほど増えました…
次号は手動i2iの話してみますー