Baiduが精度の高いリップシンク「StyleSync」を発表 他 / Catch up on AI 2023.6.25
Pick up
AIで写真1枚と音声データがあれば配信可能な世の中に！
StyleSyncは、高品質なリップシンクを可能にするフレームワーク。現在のリップシンク技術は、生成品質とモデルの汎用性のバランスを取るのが難しいという課題があります。一部の研究では長期間のデータが必要であったり、すべての対象者に対して同様の動きを低品質で生成するという問題がありました。
StyleSyncは、スタイルベースのジェネレータを使用して、少ない素材からでも高品質なリップシンクを可能にします。具体的には、与えられた顔の詳細を保持するマスクガイドの空間情報エンコーディングモジュールを設計。口の形は、音声によって変調された畳み込みによって正確に修正されます。
project: https://hangz-nju-cuhk.github.io/projects/StyleSync
doc: http://arxiv.org/abs/2305.05445
Github: まもなく公開
Baiduが、音声データを元に、1枚の写真からどんな人物でも
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
完璧なリップシンクを生成する「StyleSync」を発表！
project: https://t.co/i7L4HAJMkq
doc: https://t.co/JFBEoVUCAo
Github: まもなく公開pic.twitter.com/HubKsbGaH0
Catch up on AI
新しいオープンソースのtxt2videoのAIモデルがリリース
【新しいオープンソースのtxt2videoのAIモデル】
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
zeroscope_v2_576w, 高品質の16:9コンポジションと滑らかなビデオ出力に最適化
zeroscope_v2_XLは、zeroscope_v2_576w で作成されたコンテンツをアップスケールするために設計
576x320: https://t.co/gKob59PlxI
1024x576: https://t.co/PK1rNFCHnG https://t.co/NFJ3A1DoGX
AIでパワーポイントを生成
【AIで作成されたパワポ資料】
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
AIの歴史をAIでパワポ化
ChatGPT x VBA を使ってパワーポイントか操作しているようです。#AI #パワーポイント #生成AI https://t.co/ljQkZulLo7
Midjourney Zoom Outで制作されたインフィニティムービー
【Midjourney Zoom Outでインフィニティムービー】
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
不時着した飛行機からzoom Outして生成した世界を描いた作品。
色々な可能性がある機能ですね。#生成AI #zoomout https://t.co/sqIIvhWUYO
Sequoiaは、生成AIで可能になることを分類分けして年表形式で予測
【生成AIの進化はいつごろ、どこまで？】
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
Sequoiaは、生成AIで可能になることを分類分けして年表形式で予測https://t.co/HqO5uusCLZ#生成AI pic.twitter.com/NpIYLxw2cY
AIアニメプロジェクト：設定が固まったラフからキャラクター生成
【設定が固まったラフからキャラクター生成】
— 田中 義弘 / taziku CEO クリエイティブ×AI (@taziku_co) June 25, 2023
正面、サイド、背面と若干整合性は取れていない部分はありますが、キャラクターを生成できました。
次回はもっと細かく指定されたものを生成していきます。https://t.co/WJWmb50jBY#AIアニメプロジェクト #生成AI #AI pic.twitter.com/ucmRpeRHLF