LivePortrait: 最先端の効率的なポートレートアニメーション技術

Maki@Sunwood.ai.labs

2024年7月12日 19:57

はじめに

LivePortraitは、ステッチングとリターゲティング制御を用いた革新的なポートレートアニメーション技術です。この記事では、LivePortraitの概要、その特徴、そして使用方法について詳しく解説します。

「LivePortrait」を動かしてみた！③～3D編～ https://t.co/DWS4Ft35YP pic.twitter.com/EkSRLXINT4

— Maki@Sunwood AI Labs. (@hAru_mAki_ch) July 11, 2024

LivePortraitとは？

LivePortraitは、静止画のポートレートを動画に変換する先進的な技術です。従来の方法と比べて、より効率的かつ高品質なアニメーションを生成することができます。

https://hamaruki.com/liveportrait-innovative-portrait-animation/

主な特徴

ステッチング技術: 複数の画像を滑らかにつなぎ合わせる
リターゲティング制御: 元の画像の特徴を維持しながら、動きを自然に適用する
高速処理: 最適化されたアルゴリズムにより、素早くアニメーションを生成

技術的な仕組み

LivePortraitは、複数のニューラルネットワークを組み合わせて動作します。主要なコンポーネントは以下の通りです：

Appearance Feature Extractor: 入力画像から特徴を抽出
Motion Extractor: 動画から動きの情報を抽出
Spade Generator: 特徴と動きの情報を組み合わせて新しい画像を生成
Warping Module: 生成された画像を自然に変形
Stitching and Retargeting Modules: 最終的な出力を調整し、滑らかにつなぎ合わせる

これらのモジュールが連携することで、自然で高品質なアニメーションが可能になります。

LivePortraitの使い方

環境設定

LivePortraitを使用するには、以下の手順で環境を準備します：

GitHubからリポジトリをクローン
Condaで専用の環境を作成
必要なライブラリをインストール

git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait
pip install -r requirements.txt

学習済みモデルのダウンロード

LivePortraitの性能を最大限に引き出すには、学習済みのモデルが必要です。これらは以下の手順でダウンロードできます：

Google DriveまたはBaidu Yunから学習済みモデルをダウンロード
ダウンロードしたファイルを解凍し、./pretrained_weightsディレクトリに配置

基本的な使用方法

LivePortraitを使用するための基本的なコマンドは以下の通りです：

python inference.py

このコマンドを実行すると、サンプルの入力画像と動画を使用してアニメーションが生成されます。

カスタム入力の使用

自分の画像や動画を使用したい場合は、以下のようにコマンドを変更します：

python inference.py -s [ソース画像のパス] -d [駆動動画のパス]

例えば：

python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

高度な設定

LivePortraitには様々な設定オプションがあります。詳細は以下のコマンドで確認できます：

python inference.py -h

パフォーマンスと速度

LivePortraitは高速な処理を特徴としています。RTX 4090 GPUを使用した場合の各モジュールの処理時間は以下の通りです：

Appearance Feature Extractor: 0.82ms
Motion Extractor: 0.84ms
Spade Generator: 7.59ms
Warping Module: 5.21ms
Stitching and Retargeting Modules: 0.31ms

これらの数値は、LivePortraitが実時間に近い速度で動作可能であることを示しています。

Dockerを使用した簡単な起動

LivePortraitはDockerを使用して簡単に起動することもできます。以下の手順で実行できます：

プロジェクトのルートディレクトリに移動
以下のコマンドを実行

docker-compose up

これにより、LivePortraitアプリケーションがDockerコンテナ内で起動し、ポート8890でアクセス可能になります。

まとめ

LivePortraitは、効率的で高品質なポートレートアニメーション技術です。ステッチングとリターゲティング制御を組み合わせることで、自然で魅力的なアニメーションを生成することができます。簡単な設定と使用方法により、研究者からクリエイターまで幅広いユーザーに活用されることが期待されます。

参考文献

本技術の詳細については、以下の論文を参照してください：

LivePortraitの詳細な情報や最新のアップデートについては、公式GitHubを確認してください。