見出し画像

Deforumをさわってみた。

Hi君

こんにちは、Hi君です。蒸し暑い日が少し多くなりましたね。今にも梅雨がやってきそうな気配を感じ、戦々恐々としています。

今回はアニメーション的な連続的画像生成を行うためのツールキット群であるDeforumについて。SD用の拡張パッケージもあります。
カメラワークを指定して、推移的にtxt2img、img2imgを行う事ができますが、後述するように仕様が少しトリッキーな部分があるので、これ単体で実用的な処理（ラフな中割りなど）を行うのは難しそうな印象です。

Stable Diffusion(AUTOMATIC1111版)用の拡張機能, deforum-for-automatic1111-webui

カメラワークを指定しながら、連続的なアニメーションをつくるためのフレームワークです。素朴な動作のアニメーションシーケンスを作成したり、シーン遷移がリピートするような動画を作成したりできるような機能群となります。
ControlNetもサポートしていますが、Multi-ControlNetはサポートしていないようです。

画像生成のしくみから応用まるわかり!/より広い表現を試すから引用：
画像生成作成の中に、モーフィングを含むような映像が見られます。pharmapsychotic氏などによるDeforumは、アニメーションの作成ができるノートブックを公開しています。数日ごとにバージョンアップが重ねられています。最新情報は@deforum_artから確認できます。Replicateの作例集から、どのようなテイストの映像が生成できるか確認できます。また、Deforum用プロンプトも、併せて確認できます。Colabノートブックから試してみましょう。

指定できるモードやパラメータ等(@WIP)

  • Animation：アニメの基本設定
    （2D / 3D / Video Input / Interpolation の4つのアニメ種類から選択）

  • Motion Parameters : モーション (2Dモード・3Dモードで選択可: ズーム・平行移動・回転)

  • strength：前フレームの情報をどの程度重視するか

できること

https://esa-storage-tokyo.s3-ap-northeast-1.amazonaws.com/uploads/production/attachments/14624/2023/03/20/75422/a76960ff-96f6-4e7c-a2ca-0c74a28e2812.mp4

動作確認 3Dモードでの動画生成

3Dモード: 画像生成された前時間フレーム( or初期フレーム)について、単眼深度推定を行い、指定されたカメラモーションで連続的に画像生成・動画化を行うモードです。

https://esa-storage-tokyo.s3-ap-northeast-1.amazonaws.com/uploads/production/attachments/14624/2023/03/23/75422/dd92b566-c6ed-4465-bcfd-33a9bf95f560.mp4

使用する際の注意点

  • ControlNetは使えるがMultiple-ControlNetはサポートしていないようです。

  • Quickガイドにある通り、seedを固定した状態かつカメラモーションが小さい設定で自然画像を生成すると、コントラストが異様についた画像が2フレーム目以降から生成されるようになってしまいます。（いわゆるフリッカーを含む動画が出力される事が、ある程度前提）

  • 生成の安定性の観点で実用的かどうかは、なんとも言えません。少なくともDeforum単体では完結しなそうな印象です。（Seedを実質的に固定できませんでした。実際にやってみると異様な生成結果が出てしまい、クイックガイドにも同様の観測結果があったので、そのような結果が頻発するようです）

  • 線画の場合、コントラストは問題になりませんが、RGBの画像を生成したい場合は問題になります。

関連文献等

参考Youtube

まだまだ使い道がわかっていませんが、研究の余地がありそうです。
それでは！

文：Hi君
協力：inaho株式会社

いいなと思ったら応援しよう！