見出し画像

Google Colab で EasyAnimate を試す

npaka

「Google Colab」で「EasyAnimate」を試したのでまとめました。

【注意】Google Colab Pro/Pro+のA100で動作確認しています。


1. EasyAnimate

「EasyAnimate」は、高解像度で長い動画を生成するためのエンドツーエンドのソリューションです。transformerベースの拡散発生器を学習し、長い動画を処理するためのVAEを学習し、メタデータを前処理することができます。

Soraのような構造とDITに基づいて、動画生成用のdiffuserとしてtransformerを使用しています。モーションモジュール、u-vit、slice-vaeに基づいてeasyanimateを構築しています。将来的には、効果を向上させるために、より多くの学習プログラムを試みます。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。

# パッケージのインストール
!git clone https://github.com/aigc-apps/EasyAnimate
%cd EasyAnimate
!pip install -r requirements.txt

(2) モデルのダウンロード。

# モデルのダウンロード
!wget -P ./models/Diffusion_Transformer/ https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/easyanimate/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512.tar
!tar -xvf ./models/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512.tar -C ./models/Diffusion_Transformer/

(3) app.pyを以下のように編集。
Colabで利用できるようにgradioのlaunchにshare=Trueを追加しています。

    # launch gradio
    app, _, _ = demo.queue(status_update_rate=1).launch(
        server_name=server_name,
        server_port=server_port,
        prevent_thread_lock=True,
        share=True # ←追加
    )

(4) 実行。

# 実行
!python app.py

(5) リンクが表示されたらクリック。
gradioのUIが起動します。

(6) プロンプトを入力してGenerateボタンを押す。
90秒ほどで生成完了します。

メモリ消費量は次のとおりです。

3. Lora の学習

・EasyAnimate V2的Lora训练



いいなと思ったら応援しよう！