Cog Video／Pyramid Flow 動画生成AIをローカルで動かした。
動画生成AIが一般化してきて、YoutubeやSNSで見かける日々が日常になりつつあります。
しかし、それらのAI動画を作成するには、“Dream Machine”や“Runway”などのオンライン上のサービスを利用して、無料分を使いきったら月額料金を支払う必要があります。
さらに、画像をもとに動画化する“image to video”機能を使用する際、何らかの規制で画像が使用できないことが稀にあります。(これはPhotoshopのAIでもよく発生しますね)
他にも、著作権、利用規約、色々しがらみが多く、生成のクオリティが上がっても、いまだに個人の映像制作ツールとして不十分です。
どうせネットで見かける大半のAI動画はグレーなやり方で収益化してます(偏見)
───でも動画生成AIを使ってフリーな映像制作がやりたい！
そんなあなたのPCでオフラインで動作するAI動画生成ツールが存在します。
何年も前からStableDiffusionをあれこれして動画っぽいものを生成している例が存在しますが、これらのモデルは比になりません。ほぼオンラインサービスと同等のクオリティで出力できます。
Pinokio(生成AIモデルインストールツール)
最初はComfyUIに入れようとしたのですが、モデル公開から現在までの間に公開元から必要なノードが欠損していたようで、解決策も見つからなかったので『Pinokio』というツールで動画生成モデルをダウンロードします。
クソ怪しいトプ画。
Cドライブの空き容量必須で一つの動画生成モデル当たり30GBも圧迫する点を除けば、簡単に入れられるし簡単に使えるし優良ツールです。
環境
そもそも、生成AIを使うには高性能なグラボが必要です。後述の生成時間の目安のためにも、私のPCのざっくりとした性能です。
GPU：RTX3080Ti 16GB
CPU：intel Core i7-12700
RAM：32GB
■Cog Video (Cog Studio)
何か月か前から見かけていた、人物の動きが自然な動画生成AIはこれだったようです。
できること
・テキストから動画
・画像から動画
・動画の続きを生成
・商用利用可能
720pの動画を8fpsで50フレーム(6秒)書き出してくれました。
ややクオリティが下がりますが、主に“inference_Steps”の数値を変えることで、生成時間が10分～5分程度になりました。
#1.遊ぶ白キツネ
▼元画像
▼生成動画
：生成時間は10分かかりました。GPU使用率が80パーセント越えの状態で稼働し続けていました。“inference_Steps”をデフォルト値50から30にして生成。
▼全フレームを一度画像として書き出し、2倍アップスケールしてfpsを4倍(32fps)にしたもの
#2.踊るふわ猫
▼元画像
▼生成動画
：生成時間は5分で済みました。“inference_Steps”を16にしたのでやや破綻があります。
▼全フレームを一度画像として書き出し、破綻したフレームを削除してfpsを2倍(16fps)にしたもの
■Pyramid Flow
10月頃に公開されたばかりの、話題の高性能モデルで、商用利用可能だとか。
できること
・テキストから動画
・画像から動画
・動画の続きを生成
・商用利用可能
1280pの動画を24fpsで120フレーム(5秒)書き出してくれました。
10～20分くらいだったと思います。こっちのほうが良いですね。
プールの波を生成したのですが、エラー発生後ミスって新規生成もできない状態なので、ブラウザ上の、クオリティの低い設定でテストした時の動画を載せます。
物理現象がうまくいっている印象。
結論
重いけどギリ許容範囲！使いたかったら使おう！
まだオンラインの有料サービスのほうができることが多くて値段が安いので、本格的な映像制作をしたい方はオンラインサービスを使おう！
Tips：
upscaylとflowflameを使うと短時間で高画質化&フレーム補完ができます。
ではさらば！