ComfyUIで「Mochi」を使った動画生成を試してみる

2024年11月15日 14:36

Mochi 1とは

Mochi 1はまさに公開されたばかりのオープンソースなビデオ生成モデルで、
最近ComfyUI は Genmo の最新モデルのサポートを最適化し、4090などの GPUで高速に実行できるようになったとのことで早速いじってみることにしました！

🪦 4x H100 is dead
🫡 Run Mochi 1 on one 4090 GPU

Run it with <24GB of VRAM with official nodes. We're really excited about this huge update from ComfyUI and their community. https://t.co/2HDcDxPCrS pic.twitter.com/r6TY6JMzs6
— Genmo (@genmoai) November 5, 2024

🌎プロジェクトページ類

Mochi

ComfyUI

💪早速試してみる

ComfyUIのexamplesに沿って下記からsafetensors類をしかるべきフォルダに配置。

diffusion_models/mochi_preview_bf16.safetensors goes in: ComfyUI/models/diffusion_models/ text_encoders/t5xxl_fp16.safetensors goes in: ComfyUI/models/text_encoders/ vae/mochi_vae.safetensors goes in: ComfyUI/models/vae/

ファイルはだいぶ重かったですが、最近回線を高速に変えた私に不可能はありません😊

例で載っているワークフローを読み込むとのこのような感じでした。

ぜひ動画もキャプチャしたので見てください。まるで本当に撮ったかのようなショートビデオ。きれいです！

ComfyUIでMochiモデルのお試し生成。きれいに出るし、はやい！ pic.twitter.com/HlNCoJ43fC
— SUTO💡 (@st_e_ai) November 15, 2024

動画の生成なので多少の時間はかかるけど、それでも５分程度のものでこのクオリティならまったく問題ないですね！

それではほかにもいろいろ生成してみたいと思います。

✨Mochi作例

👀まとめ

動画生成モデルはいままでも色々ためしていますが、Mochiは結構しっかり動くタイプのモデルだなと感じました！
優れたモーション品質と迅速な順応性が話題となっていましたがまさにその通りですね。
今回はサラッと例を試しただけですが、プロンプトやワークフローをしっかり定義したらもっとずっとアプトプットも良くなりそうな気がします。

動画生成もだいぶ成熟してきた感じがしますね。来年はどうなるかな。
今日はここまで〜！