ComfyUI LivePortrait
LivePortrait用のノード、いくつかありますが、他のノードでも色々利用させてもらっているkijaiさんのノードを入れました。
(後ほど調べた所、shadowcz007さんのノードは複数人物にも対応しています)
「examples」の中にワークフローが、
「assets/examples」の中にドライビング動画(モーション参照用)が入ってます。
dsize
アニメーション画像の出力サイズ
vx_ratio, vy_ratio
顔の特徴の幅、高さを調整
lip_zero
口を開いた画像を使う時、口を閉じた状態をデフォルトにするという事でいいのかな？
eye_retargeting, lip_retargeting
目や唇の動きを調整します。
Stitching
アニメーション化された特徴を元のポートレートとシームレスにブレンドする場合に役立ちます。
relative
アニメーションはソース画像の初期ポーズに相対的になります。これにより、より自然な外観を維持できます。
GitHubにはこの辺の解説がないのでわかりづらいのですが、
こちらのサイトに解説があったりします。
昨年11月4日付のニュース
こちらは音声をディープラーニングで学習させた話がメインで
映像に関しては、まさかこれで本物と思う人もいないんじゃないかと思いますが、8ヶ月でこれだけ変わってしまうという例。進化が凄いねぇ。
リップシンク自体は私も昨年2月の時点でこんな事やってました。
2021年10月22日。Stable Diffusion 公開前の時代。
この頃は顔に角度がつくとすぐ崩れてなかなか難しかった。