Deforumで叡智なAIアニメーションの作成が可能だったりする話
日本では、Deforumはあまり人気のないAIアニメーション作成の拡張機能になっています。
どうもAIダンスとかの方が人気があるようです(自分の記事も閲覧数はAnimatediff>Deforumなので・・・)。
私自身、Deforumは初心者から中級者レベルですが、Txt2imgでそこそこ叡智なアニメーションが作製出来、最近はそれにはまっています。
この記事で、Deforumを触ってみたいと思う方が増えればと思って作成しました(※特に回し者ではないです)。
video2videoに関しては、元映像を準備する必要があるため、著作権にからんだりするため、叡智なものに関してはなかなか作成しにくいと思います。
txt2imgは、Loraなど使用すると著作権に絡んできたりすることがありますが、video2videoよりは取り組みやすいと思います。
DeforumだとSDXLで画像を生成出来ますので、Loraを使用しなくてもかなり表現が豊かな画像が作製出来、かなり質の高いものが作製出来たりします。
特にAnimagineXLやponydiffusionなど最近はレベルの高いものが出てきました(イラスト系です)。今回使用しているのは、Chroma XLですが、AnimagineXLをベースとしたものです。
現在、最新のDeforumはSd-webui-forgeのみの対応になっていると思います。paperspaceで使用すると、A4000だと1024x1024で生成することが可能で、コントロールネットを使用することも出来ます。
ここでは、GIFファイルを提示するのは良くない気もするので、AIピクターズのR18カテゴリに投稿したもののリンクを貼っておきます。
(※R18ですが、あえてプロンプトで肌の露出などを抑えて、表情と動きと声での表現になっています。)
一番上のリンク先のアニメーションだと、先に上の画像を生成して、それをdeforumのinit imageにセットして、Paraseqでプロンプトと動きの調整をすることで、希望する画像から動きを付けることが出来るようになります。
10FPSで作成した後、フレーム補完をして画像を滑らかにしています。
そのため、上のものだと60枚の生成で済む計算になります。