Deforumで使用出来るFrame interpolateについて試してみた
先日、youtube動画で動画をヌルヌル動かす方法というところでframe interpolateが紹介されていました。
そこでは以下のリンク先にあるソフトウェアを紹介しました。
Frame interpolateは元々の動画のフレームの間に画像を補完することでフレームレートを上げるという内容のようです。
FPSが15の動画が60とかに上がるとかなり印象が変わるようです。
最近流行りの、AnimeDiffで作成した動画にこれを使用して動きを良くする方法について紹介されていました。
このソフトウェアは、無料でwindowsPCにインストールすることが出来ます。
実際に自分のPCにインストールして使用してみようと思ったわけですが、残念ながらNVIDIAのグラボがないと動いてくれませんでした(エラーが出て実行できず)。
そういった中で、確認してみると、使用されているFrame interpolationの手法は、RIFE 4.0というものでした(デフォルト設定)。
よくよく見てみると、日ごろ使用しているdeforumにもframe interpolationが存在していました。
そこで使用出来るのはRIFE 4.6と数値が上！(機能の差は分かりませんが、新しい方が良い気もする！)
また、上記のサイトの課金して手にいれるソフトウェアは2022年に更新されて以降ない模様で、若干古い可能性もあります。
ということで、deforumを使用すれば問題ないのではと思ってしまいました。
こちらだと、NVIDIAとか気にせず、paperspaceで行けます。
最近はdeforumで動画を作成する際はこれにチェックを入れていましたので、知らないうちに使用していました。
今回は、deforumのoutputの所に、interpolate existing videoという項目がありましたので、追加で試してみる形を行ってみました。
この項目は、あらかじめframe interpolateの種類を選んでおかないと出てきません。
このinterpXの数字は、FPSを何倍にするかという設定です。デフォルトは２倍ということになります。
下の三角を押すと、interpolate existing videoが使えるようになり、画像を入れ込む画面が出てきます。
この15FPSで作成した動画を入れ込みます
これでinterpolate videoを押すだけです。
最初は下のFPSの所は出てこないですが、動画を入れると出てきます。
ボタンを押すと20秒程度で動画が作製されました。
outputにframe interpolationというフォルダが作成され、そこに作成された動画が出力されます。
作成時間に関しては元画像のサイズや長さなどで変化します。
WebUIの画面上では動作は確認できませんが、コマンドプロンプトの画面を見ると動いているのが分かります。
最初の動画と比較すると動きのカクカクがなくなりました。手間はダウンロードする時間程度なので、良い機能と思いました。
もう一つの「FILM」というエンジンも選択出来ます。
試した感じだと、RIFEと比較するとかなり時間がかかりました。