【Stable Diffusion】あなただけのAI画像を動かす方法@Google Colab

2023年4月14日 18:42

画像生成AIで美女を愛でている（＠Toshimaruちゃん）です。
今回は、Stable Diffusion web UI(Google Colab)で“mov2mov”(動画から動画生成)の方法をお伝えします。

まだ日本語で解説しているサイトが少ないので、この記事が参考になったら「スキ」や「保存」をよろしくお願いいたします。
※コメントも励みになります！

★この記事は、Google Colab上でStable Diffusion WebUIが起動できることを前提とした記事となっています。よくわからん！という方は、下記の記事をご覧になってからチャレンジしてみてください。

【重要追記事項】
昨今の画像生成ブームの影響を受け、Google ColabでのStable Diffusionの利用が制限を受ける可能性があると発表がありました。ただし、有料版は、これに該当しないとのことです。無料で利用することは現状できますが、リスクがあることをご認識ください。

■【Stable Diffusion】あなただけのAI美女の作り方@Google Colab

１．Stable Diffusion web UIで【mov2mov】を導入する

まず初めに、Stable Diffusion web UIの拡張機能である【mov2mov】を導入していきます。

今回は、Scholar01氏の学習データを使用します。
下記ページ(GitHub)にアクセス
■sd-webui-mov2mov

Google Claboでノートブックを開き、下記の用にコードを追記します。

#AUTOMATIC1111
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

このコードの下に下記のコードを追加

#controlnet
!git clone https://github.com/Mikubill/sd-webui-controlnet.git  /content/stable-diffusion-webui/extensions/sd-webui-controlnet
!git clone https://github.com/Scholar01/sd-webui-mov2mov.git  /content/stable-diffusion-webui/extensions/sd-webui-mov2mov

※今回はControlNetも合わせて使用しますので、下記のコードとControlNet用のモデルデータの【hed】も合わせてダウンロードしておきましょう。

コードは下記のような感じで

!cp /content/drive/MyDrive/StableDiffusion/controlnet/control_openpose-fp16.safetensors  /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!cp /content/drive/MyDrive/StableDiffusion/controlnet/control_canny-fp16.safetensors  /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
!cp /content/drive/MyDrive/StableDiffusion/controlnet/control_hed-fp16.safetensors  /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/

※ControlNet用のモデルデータは、Googleドライブの所定のフォルダにアップロードしておきましょう。

よくわからないという方は、こちらの3項目目をチェック！
■【Stable Diffusion】あなただけのAI美女の作り方@Google Colab

ここまで準備できたら、上から順にセルを実行して、Stable Diffusion WebUIを起動してください。

◆追記◆
セルの実行時に、下記のようなエラーが出ることがあります。
※私だけかも・・・、そしたらスルーで大丈夫です。

Error running install.py for extension /content/stable-diffusion-webui/extensions/sd-webui-mov2mov.
Command: "/usr/bin/python3" "/content/stable-diffusion-webui/extensions/sd-webui-mov2mov/install.py"
Error code: 1
stdout: <empty>
stderr: Traceback (most recent call last):
  File "/content/stable-diffusion-webui/extensions/sd-webui-mov2mov/install.py", line 4, in <module>
    plat = platform.system().lower()
NameError: name 'platform' is not defined

このエラーが出た場合は、下記の用に対応をして、セルの再実行をしてください。

stable-diffusion-webui/extensions/sd-webui-mov2mov
を開く

import platform
import launch


plat = platform.system().lower()


if not launch.is_installed("cv2"):
    print('Installing requirements for Mov2mov')
    launch.run_pip("install opencv-python", "requirements for opencv")
    launch.run_pip("install imageio", "requirements for imageio")


if not launch.is_installed('ffmpeg'):
    print('Installing requirements for Mov2mov')
    launch.run_pip("install ffmpeg", "requirements for ffmpeg")
    launch.run_pip("install install imageio-ffmpeg", "requirements for imageio-ffmpeg")

開いたら上のように、
“import platform”　を
“import launch”　の上に追加してください。

上記が完了したら、再度セルを実行してください。
問題なく起動できるようになるはず！！

２．Stable Diffusion WebUIでの設定について

次に、起動後の設定について紹介します。

まず、Stable Diffusion web UIが起動したら【Settings】タブを開きます。
そして、下記の画像のように“ControlNet”の『Allow other script to control this extension』部分にチェックを入れます。
最後に“Apply Settings”をクリックします。