【Deepfakeの決定版】Rope-Next登場！表情を操作出来る強力な機能「FaceEdit」も搭載

Deepfakeの決定版です。
Ropeからフォークし、新機能追加や処理高速化などを搭載し、新バージョンのような形でRope-Nextがリリースされました。
顔入替も前バージョンPearlより細かく設定出来るようになり、より綺麗に、より追従し、より違和感なくスワップするようになっています。
Rope-Nextでディープフェイクを楽しみましょう！

Ropeの高機能化

Deepfakeソフトとしての基本機能はRope Pearlそのままです。
このRopeの優れているところはたった一枚の画像で動画の顔を入れ替え出来るところです。
他のソフトのように数十時間かけて事前学習させる必要はありません！
Rope-Nextはより細かい設定が可能になりました。

・顔の部分的なマスク
前バージョンでは輪郭と口のみマスク出来ましたが新バージョンでは片目だけや口、鼻などかなり細かく指定できます。

・顔追従＆ローテーション
前バージョンではブラックボックス化されており、何もできませんでしたがRope-Nextでは顔を捉える頂点ポイントの数を変えることができ、より追従するようになります。顔がいろんな向きになっても、カメラ画角が縦から横とになったりしても明らかに顔が外れることが少なくなっています。

・色味の自動調整
Rope-Nextでも手動調整することもできますがAIによる自動調整機能が備わったことでより違和感なく馴染んでくれます。

・高画質レストア
前バージョンでも十分綺麗に顔なじませをしてくれていましたが今バージョンではレストア処理を最大二段階でかけることができるようになっています。二段階かけることでより元動画になじみ、そしてより高画質に顔入れ替えが可能になっています。

主なところはこんな感じです。

Ropeの高速化

CUDA12系の対応そしてTensorRTへの対応でTensorRT処理時は高速になり、そしてVRAM使用の削減ができるとのこと。
実際に私の環境でTensorRTを有効にしてテストするとRope PearlでVRAM使用9GB程でしたがRope-NextのTensorRT使用時はVRAM4.6GBで収まりました。またswap処理時間はRope Pearlで504secかかったのに対し、Rope-Nextは469secで35secも速くなりました。

Rope-Nextの新機能

新たな機能としてFaceEditを搭載。
動画の一部シーンです。小さいですが映像右下のフレーム数140をおぼえておいてください。色んな画面出ますがすべて140で動画が進んでいないことがこのフレーム数で確認出来るかと思います。

まずは何も普通の状態

顔を傾けます。正面から角度が変わっているのがわかるかと思います。

今度は少し傾げるような仕草

笑顔

口を閉じようと限界まで操作したところ・・・

口を開けた表情

まゆを上にあげた様子

逆にまゆを下に。しかめっ面のような表情も

目線も変更できます。

視線を落とし伏し目がちな表情も

まぶたを閉じる

ウインクも

大半の表情が作れるのがお分かりになるかと思います。
また面白いのがfaceswapをした後のみならず元動画に対してもedit可能！
AI動画編集ソフトとしても使えそうです。

このFaceEditのみならずfaceswapに関するパラメータも大幅に増えてます。

Restorerを二段がけできるようになり、swapの画質がより綺麗になります。Face Parserを見るとPearlでは輪郭と口のみでしたが輪郭や首、目も片目ずつ、鼻にくちびるも上唇、下唇と細かく制御できるようになっています。
Color Adjustmentsも細かく設定できるようになっています。ノイズを入れることもできます。そしてAuto RotationやLandmarksを有効にすることで顔の追従が外れにくくなり、かなり追ってくれるようになっています。

処理の高速化が進み、生成面ではより細かく制御出来、そしてFaceEditで表情の作りこみも出来るようになったRope-Next。
Rope Pearlの共存も可能ですので是非使ってみてください。

Rope-Nextにご興味出た方はインストール手順も記事にしていますで
以下よりどうぞ！