生成AIを活用してウェブトゥーンをアニメ化した話【AnimateDiff, Mov2mov】
先日DALLE3を使ってwebtoonを制作しましたが、今回はそれをさらにアニメ化してみました。
制作したショートアニメはこちらからどうぞ。
webtoonの記事はこちら。
制作について
実は今まで、裏でAnimateDiffなどを使ったアニメ制作の検証を続けていましたが、表に出していませんでした。
その理由は、私の望む画作りができないということに尽きます。作者の意図を作品に骨格として行き渡らせて操ることが難しいと私は感じました。
アニメの雰囲気だけなら再現できるかもしれませんが、私の求めているものではありません。
AnimateDiffを使ってみたという検証記事は多くありますが、それらはどれもアニメっぽく動いているだけで、制作者の意図が感じられませんでした。
Stable Video Diffusionは、動きはきれいですが、どう動くかを指定できません。Gen-2、Pikaも動きを制御できている人は見たことがないので試していません。
歩き方だけでキャラクターを描き分けられるほどに、動きは雄弁に物事を語ります。
現時点でそれを実現するには、実写動画をimage2imageしたり、openposeの棒人間を動かすしかありません。かなり面倒な工程を経る必要があります。
断言しますが、今回制作したアニメは「どうせAnimateDiffでいい感じにプロンプト組んでガチャすれば作れるんでしょ？」と思っている人には作れません。
ちゃんと技術を自分で触った人ならば、今回のアニメ作品で私がどう動きを制御したのか気になると思います。
今回の制作過程を解説するのは面倒なので、ポイントをいくつか。
SDXLが使えるAnimateDiffのHotshotXLは、今回の制作のために初めて検証をしました。例えば冒頭の動いている雲はこれですが、理想的な動きはガチャでした。他のやり方も試しましたが、これがベターでした。（前述の言葉と矛盾していますが）
A1111のMov2movも利用しています。例えば、歩いているコマは私自身が歩いている動画から変換しています。恥ずかしながら部屋が狭い上に散らかっていたので、ベッドの上を歩いて撮影しました。
Flowframesはフレーム補間に使っています。他にもフレーム補間ができるソフトは無料・有料含めてたくさんあるので、色々と試してみるとみるといいと思います。Flowframesはドネーションウェアで、無料版は少し古いバージョンになっています。
「アニメトゥーン」の可能性
今回の作品のもう一つの価値は、webtoonの形式でアニメ化したことです。各コマは下から現れて上に消えていきます。こうした表現形式にすでに呼び方があるのか分かりませんが、ここでは仮に「アニメトゥーン」と呼ぶことにします。
アニメトゥーンのメリットは、大きく3つあります。
1つ目は、ウェブトゥーンをほぼそのまま映像化できる点です。
すでに絵コンテができているようなものなので、作業しやすいです。
シーンがその場でスイッチする動画と比べると、アニメトゥーンは上下移動の分の編集の手間がかかりますが、専用の編集ツールを作れば、編集の負担は軽減できそうです。
2つ目は、ウェブトゥーン初心者に優しい点です。
ウェブトゥーンに慣れていない人は、独特なコマの間の空白に違和感を感じるかなと思います。流れの中でリズムを作るために空白が使われていますが、アニメトゥーンならばシーンの切り替えで代替できるので空白は気になりません。
3つ目は、視聴者が完全に受け身で作品を鑑賞できる点です。
ウェブトゥーンだとスクロールを自分でしなければならないので、自分のペースで読める代わりに、ちょうどいい位置で止められないというデメリットがあります。
しかしアニメトゥーンならば、見る範囲を指定できますし、ユーザーの操作も不要です。
このようにメリットがあるので、アニメトゥーンという表現形式は面白いんじゃないかなと思います。ま、普通のアニメでもいいんですけどね。
葦沢は現在転職活動中で、お仕事を探しております。主に小説方面を得意としていますが、漫画原作や映像脚本にも興味があります。おおよそ3月頃までは転職活動をする予定です。
【お知らせ】現在、転職活動中です。今までは本業でAIエンジニア的なことをしていましたが、このタイミングでクリエイティブ方面に軸足を移して、テクニカルアーティストのようなAI技術に理解のあるシナリオライター、いわばシナリオエンジニアみたいな仕事ができたらいいなと思っております。…
— 葦沢かもめ (@AshizawaKamome) January 28, 2024
ご興味ある方は、ぜひX（Twitter）のDMか下記Googleフォームよりご連絡ください。
それでは。