LivePortraitってゆー現役最強口パクAIの完全まとめ(5万円/年の節約)
皆様どぅーも、うぶんちゅ:初心人です！
✅まずはこちらをご覧ください(え、いきなり😮)
✅導入でーす！
近年AIタレントとかVtuberが大量増殖してますよねー！
その中で使われているいわゆる口パク技術(RipSync:リップシンク)の最強オープンソースが発表されました。その名もLivePortraitです。
動かされるソースと動きを与える動画ファイルだけでべしゃります👄
■今まで私が試したRipSyncのAIモデルは下記。これらをはるかに凌駕。
・SadTalker
・Hallo
・avatarity
・Stablediffusion Multi OpenPoseやらなんやら組み合わせ
ぶっちゃけLivePortraitがあればHeyGenなどにお金を払うの無駄です。
※現に私のYoutubeなどの動画で説明しているうぶ子ちゃんは無料で動いてます。
導入もかなり簡単になっているので環境設定と使ってみた所感を残しておきます。
✅使い方はこちら
👇Githubのソースコードはこちらをクリック👇
🔥今回は全部入りのLive Portraits_videoで説明していきます(noteで初)
videoと付いたモデルは動画から綺麗にリップシンクができますよ！
環境は『Getting Started』を見るとなんとなく出来ますが、初学者の方が躓くかもしれないポイントをまとめて記します。
事前にみんな大好きffmpegを使えるようにしておきましょう
※ダウンロードして環境変数を設定するだけ(binファイルのパスねー！)
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
# アナコンダの環境をつくるぅ(今回はこれが簡単)
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait
# pipでの環境を(PytorchのGPU設定だけ注意)
pip install -r requirements.txt
# for macOS with Apple Silicon users
pip install -r requirements_macOS.txtあとは事前学習モデルのダウンロードだけー。ぼちぼち重し(3GB)。
# 容量がぼちぼちあるのでgit lfsをインストールしてから実行
git clone https://huggingface.co/KwaiVGI/liveportrait pretrained_weights🔥ここでpretrained_wightsディレクトリが既にあるよーって怒られる人がいるそうです。その場合は慌てずpretrained_wightsを削除して実行でオケー。
#ウェブアプリ(Gradio)で試したい方はこれ(細かい設定は出来ないよー)
python app.py
# WindowsとLinuxユーザーはこちらで実行
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4 --no_flag_pasteback
# うぶんちゅの設定はこんな引数
python inference.py
# Macユーザーはこれよ
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.pyRTX3090(24GB)が乗った端末で試して10秒動画で3分くらいではい完成！
※推奨はNVIDIA GeForce RTX 2060程度の6GB以上なのでご注意
✅出来上がりがこちらです(静止画から)
すると静止画が信じられないくらい滑らかにべしゃってくれます
※今までの苦労なんやってん。
✅さらに！動画をリップシンクさせれます！
最新情報なので意外と知られてない動画からリップシンクさせる方法です！
※身体が動いている動画を口パクさせるイメージです。
Source Videoのタブにして同じ様に選んで実行するだけ！
✅はい、出来上がりがこちらです(動画から)
動画から口パク動画が作れるという事は色んな事ができるようになります
・オンデマンド教育の説明員を作る
・Youtubeなどの動画で手や身体の動きを加えられる
・猛烈に走ってる人の動画を口パクさせて楽しむ
身体の動きが入ってより臨場感のある動画でエンジョイしてください。
ちなみにリアルタイムでWebカメラに適用使えるモデルも試しましたが、
輪郭の固定などもう一歩でしたので精度が好転すれば展開しますね！
👇下記動画の最後に出てくる『うぶ子』ちゃんも同じ技術で動いてます👇
✅最後にお得な情報
私は年間のサブスク料金が30万円を超えるただのアホですが、LivePortraitのおかげでHeyGenなどの利用がなくなり5万円/年ほどお得になりました。
他にもこんなお得なツールがたくさんあるので近日展開いたします。
このように近年のAIはオープンソースのレベルがとんでもなく上がっているので、有料サービスを使わなくても様々なビジネスシーンで活用できます。
今後も皆様が少しでもお得に、そして稼げるように情報発信し続けます！
有料サービスより優良オープンソースを🤖ﾎﾅﾏﾀｰ💕