Google Clolab で Magic Animate を試す

npaka

2023年12月5日 08:14

「Google Clolab」で「Magic Animate」を試したので、まとめました。

1. Magic Animate

「Magic Animate」は、TikTok運営のByteDance等がリリースした、参照画像と一連のモーションから動画を生成する動画生成モデルです。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。

!git clone https://github.com/magic-research/magic-animate
%cd magic-animate
!pip install -r requirements.txt

(2) モデルのダウンロード。

!git clone -b fp16 https://huggingface.co/runwayml/stable-diffusion-v1-5 /content/magic-animate/pretrained_models/stable-diffusion-v1-5/
!git clone https://huggingface.co/stabilityai/sd-vae-ft-mse /content/magic-animate/pretrained_models/sd-vae-ft-mse/
!git lfs clone https://huggingface.co/zcxu-eric/MagicAnimate /content/magic-animate/pretrained_models/MagicAnimate/

(3) コンフィグファイルの編集。
「configs/prompts/animation.yaml」で、画像ファイルと動画ファイルを設定します。画像は透過pngはエラーになったので、透過なしにしてます。

・configs/prompt/animation.yaml

pretrained_model_path: "pretrained_models/stable-diffusion-v1-5"
pretrained_vae_path: "pretrained_models/sd-vae-ft-mse"
pretrained_controlnet_path: "pretrained_models/MagicAnimate/densepose_controlnet"
pretrained_appearance_encoder_path: "pretrained_models/MagicAnimate/appearance_encoder"
pretrained_unet_path: ""

motion_module: "pretrained_models/MagicAnimate/temporal_attention/temporal_attention.ckpt"

savename: null

fusion_blocks: "midup"

seed:           [1]
steps:          25
guidance_scale: 7.5

source_image:
  - "inputs/applications/source_image/monalisa.png"
  - "inputs/applications/source_image/0002.png"
  - "inputs/applications/source_image/demo4.png"
  - "inputs/applications/source_image/dalle2.jpeg"
  - "inputs/applications/source_image/dalle8.jpeg"
  - "inputs/applications/source_image/multi1_source.png"
video_path:
  - "inputs/applications/driving/densepose/running.mp4"
  - "inputs/applications/driving/densepose/demo4.mp4"
  - "inputs/applications/driving/densepose/demo4.mp4"
  - "inputs/applications/driving/densepose/running2.mp4"
  - "inputs/applications/driving/densepose/dancing2.mp4"
  - "inputs/applications/driving/densepose/multi_dancing.mp4"

inference_config: "configs/inference/inference.yaml"
size: 512
L:    16
S:    1 
I:    0
clip: 0
offset: 0
max_length: null
video_type: "condition"
invert_video: false
save_individual_videos: false

(4) 動画生成の実行。
数分でsamplesフォルダに動画が出力されます。

!bash scripts/animate.sh

Google Clolab で Magic Animate を試す

1. Magic Animate

2. Colabでの実行

関連