見出し画像

3D 動画をAI アニメに ComfyUI Workflow (期間限定無料公開中)

城夜燈


3D Model のアニメーション動画

この動画が…

AI アニメーション動画

こんな感じになります。

記事の内容としては、

  1. AI アニメーション作成の流れ

  2. 素材となる3D Model 動画について

  3. Comfy UI のワークフロー解説

です。実際に、サンプルの動画とComfy UI のワークフローを配布するので、Comfy UI を動作させる環境があれば同じことができると思います。

⚠️注意⚠️: 2024 年12月1日以降、有料での販売予定です。

AI アニメーション作成の流れ

概要

それでは早速、アニメーション作成の流れについて説明します。本ワークフローの最も大切な点は、ズバリ

「なるべくシンプルな技術を組み合わせる」

ということです。

例えば、AIを活用したアニメ作成で有名な手法として、Animate Diff などが挙げられます。しかし、これらの手法では安定した出力を得ることが難しいです。
その主な理由は、プロンプトによる制御に依存している点にあります。現時点では、プロンプトを使ったAIアニメーションの制御はまだまだ課題が多く残っています。

このように、最新の手法やノウハウは複雑で、かつ出力が安定しないなどの問題があります。

そこで本手法では、タイトルにもあるように 3Dモデル を活用したアプローチを採用しています。この手法により、安定性と一貫性のある結果を得ることが可能になります。

AI アニメーション作成のワークフロー

コチラが、Comfy UI のワークフローです。

本手法のAI アニメーション作成のワークフローは次のとおりです。

  1. VRM などの3D Model の動画を用意(作成) する

  2. コントロールネット(Canny, Lineart) を用いて、i2i を行う

  3. 色の一貫性を保つために、アナログ的な処理を行う

このうち、3. の色の一貫性については、コチラの記事で紹介したツールを使っています。

後処理をしない場合も元となる動画や仕様するモデルによっては高い一貫性が保たれるので、安心してください！

素材となる3D 動画について

本ワークフローでは、元となる動画が必要です。その動画として、基本的にはVRM などのキャラクター3D Modelによる動画を想定しています。理由として、後続の工程でCannyやLineartを用いるため、アニメーションに近い見た目の特徴を持つ元動画が適しているからです。

個人的には、Vroid がお勧めです。操作も直感的で、初心者にも使いやすい点が魅力です。本記事で用いられている動画は、Vroid のアニメーションをそのまま動画にしました。

もしできるなら、モデリングソフトを利用して3Dモデルを作成し、その後Blender やUnity などのソフトで動画を作成すると様々なアニメーションをさせることができます。

元動画が用意できたら、いよいよアニメーションを作成する工程です。

Comfy UI のワークフロー解説

モデル名やDenoising などの数値は、ワークフローを使ってもらえればわかると思うので、ここでは全体の流れをざっくりと解説します。

バージョンによって多少配置は違うかもしれませんが、全体は以下の7パートに分かれています。

Comfy UI ワークフロー概要

① Load Model & Lora

今回の最も重要なパートは、④Controlnet とこのModel ＆Lora です。Anime を作るにあたり、重要視する部分は、

  1. i2i において、安定した出力が得られること

  2. Canny もしくはLineARt と相性が良いこと

の2点です。

本ワークフローでは、以下のモデルを使用しています。

上記のような条件に適するModel ならSD1.5 のモデルなどでも問題ないと思います。(ただし、SD1.5 の方がプロンプトの細かい調整が求められることが多い印象です。)

② Input

このパートは、Input 画像を入力しています。アニメ動画を作成する際には、動画のファイルをアップロードすれば、バッチ処理のように複数枚を一っ木に処理することができます。

③ Prompt

プロンプトは、なるべくフレーム全体に渡って共通のキーワードを入れてください。
この辺りは、添付したワークフローを参考に、各自、モデルやDenoising Strength に合わせて調整してみてください。

なお、step ごとにプロンプトを切り替えることができるNode も存在します。そちらを利用する

④ Controlnet

今回のワークフローでは、Canny を用いましたが、LineArt などでもうまくいく可能性は高いです。
Controlnet も、各自モデルに合わせてEnd Step を調整してみてください。

最初はEnd Step を1 にして、書き込みを増やしたければ徐々に小さくしていく、という調整方法がおすすめです。

⑤ Sampler

こちらも、このワークフローを用いるなら元の数字のままで良いと思います。
個人のモデルを使用する際は、各自で調整してみてください。

Denoising が大きいと、細部の描き込みは増えますがフレーム間の一貫性が低くなります。

⑥ ADetailer

本ワークフローでは Face Detailer を使用しています。
必要がなければOFF にしてみてください。

また、この部分にはUpScale などを適用してみても面白そうだと感じています。

⑦ Output

アウトプットです。
動画として保存したい場合は、Images to Video などのNode を追加してみてください。


(おまけ) 色の一貫性を保つために

フレーム間で青色が微妙に違うことがわかります

以上のような手法でAI アニメを作成しても、フレーム間の色の一貫性が保たれない場合があります。

そのような場合には、

  1. Denoising を下げる

  2. キャラクター Loraなどを用いる

  3. アナログ的に処理をして、色を合わせる

などの方法があります。

3.のアナログ処理に関しては、例えばphotoshop やCLIP STUDIO のようなペイントソフトが便利です。

また、以下の記事で、簡単なパレット作成・減色ツールを作って公開しています。アニメーション向けにBatch 処理などもできるようにしてあります。

しかも、無料です！

ぜひ使ってみてください！


素材とサポート

こちらに、改めて今回使用した3D Model のアニメーション動画とComfy UI のワークフローを添付します。

うまく動画が生成されない等の不具合がありましたら、X (旧Twitter) までご連絡ください！

ひとりごと

前回の減色パレットツールを公開した際に、こういう意見を複数件目にしました。

これはまさにその通りで、減色ツールはかの有名な「OPTPiX」をはじめ、いろんなツールがあります。

というわけで、まぁあのツールだけだと車輪の再開発感は否めないのですが…


ただ、AI アニメを作成したときに、フレーム間の色変化をなるべく減らすにはどうしたら良いか、という思いつきで作ったツールなので、できればこのアニメーションのワークフローと一緒に使ってもらえればと思います。

え、じゃあなんで減色ツールをComfy UI の Node として作らないのかって？


…


「君のような勘のいいガキは嫌いだよ…」

いいなと思ったら応援しよう！