StableDiffusionとAnimatediffとFreeUでハイクオリティな動画を作る方法。
前回の記事で、お褒め頂いた動画の生成方法と用いた技術や工夫を紹介させて頂きます。
なお技術は日々進歩しているのでStableDiffusionの拡張機能FreeUも今日現在version2に進化しており、同じデータセットとprompt、シード値で生成しても少し違う動画になってしまいました。
でも問題ありません。FreerUは今日（2023年10月23日）現在version1と2の選択が可能です。
FreeUをversion1に変更したところ、幸いなことに前回と同じ動画が生成できました。
なおprompt、シード値、データセット、パラメーターは以下の通りです。
1girl, solo, ahoge, blue dress, blue eyes, exquisite and beautiful flower garden background, high detail, earrings, flowers, full body, holding bouquet, holding flowers, brown hair, long dress, long hair, petals, pink rose, red flower, red rose, rose petals, smiling, solo, fish-eye lens, cinema camera
Negative prompt: EasyNegativeV2
Steps: 29, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 146984898, Size: 512x512, Model hash: 2b69964bbc, Model: braindance_BD071, VAE hash: 551eac7037, VAE: kl-f8-anime2.ckpt, Denoising strength: 0.7, FreeU Stages: "[{"backbone_factor": 1.2, "skip_factor": 0.9}, {"backbone_factor": 1.4, "skip_factor": 0.2}]", FreeU Schedule: "0.0, 1.0, 0.0", Hires upscale: 1.25, Hires upscaler: 4x-UltraSharp, Version: v1.6.0
注意点としてNegative promptの EasyNegativeV2とupscalerの 4x-UltraSharpはStableDiffusion Wev UI標準では用意されていないため、ご自身で検索して導入する必要があります。
更に高画質動画の生成のために重要なのはアップスケーラーです。
Animatediffにおける動画生成はVRAMの使用量が多く重いのでアップスケーラーを使わない方も多いと思うのですが、1.05でも良いのでアップスケーリングを行い2段階で解像感を上げるとグッとキレイな動画になります。VRAMが足りない場合は元の解像度を下げましょう。
画質も落ちていますし背景に魚が浮いています
更にFreeUを外してみましょう
意外と品質ではなく動きが減った結果になりました。
では今度は更に高解像度化(1.25倍から1.5倍へ)して最新のFreeU version2を使って動画生成を行います。※生成時VRAM使用量は12GB程度のため、ご利用のグラフィックボードの仕様を、ご確認ください。
絵や映像は好みに影響され、どれが一番良いと言うのは決められませんが、これも良い仕上がりだと思います。
更にフレームレートを2倍にし（秒間8フレームから16フレーム）2倍滑らかにした動画です。この際は全体のフレーム数も16から32に増やす必要が有ります。処理時間は増えますが、意外とVRAMの使用量は増えません。
しかも無限ループします。
更に！今ではカメラワークLoRAと言う物が有りダイナミックなカメラワークで無限ループ動画が生成できます。
著作権的にもセンシティブな存在でしたが、
カメラワークをコントロールする目的なら問題無いでしょう。
以上StableDiffusionとAnimatediffとFreeUで動画を生成する方法でした。
ご覧いただきありがとうございました。