一枚の画像と音声データから喋るアバターを生成「VASA-1」他 / Catch up on AI 2024.4.18
Pick up
1枚の画像と音声データでこの滑らかさはすごい。4090でも生成可能なようです。コード・デモの公開が待ち遠しい。
VASA-1: Lifelike Audio-Driven Talking Faces
Generated in Real Time
Project：https://microsoft.com/en-us/research/project/vasa-1/
arXiv：https://arxiv.org/abs/2404.10667
【アバターがさらに身近に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
VASA-1は一枚の画像と音声データから、喋るアバターを作成できるフレームワーク。かなり自然で精度も凄まじく高い。
SNSで見る分には、多少の違和感はあるもののほぼわからない。イラストにも対応！#生成AI #AIpic.twitter.com/zfO4sMYLso
Catch up on AI
4090によるVISA-1デモ
【4090によるVISA-1デモ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
1枚の画像+音声データからアバターを生成できる「VASA-1」のデモ動画。この速度で素晴らしい。デモやコードが解禁されたらすぐ試してみよう。#AI #生成AIpic.twitter.com/h4zHiPZwYP
VISA-1でモナリザ
【生成AIのモナリザデモ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
1枚の画像と音声データから、動きを生成できる、VISA-1のモナリザでのデモ。
AI x モナリザはミームになりつつある気がする。#AI #生成AIpic.twitter.com/3aZb16oR85
錯覚画像も生成AI Factorized Diffusion
【錯覚画像も生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
Factorized Diffusionは、ハイブリットイメージと言われる、縮小した場合と拡大した場合で、違う絵が見える画像を生成できるフレームワーク。
とてもユニークな研究。技術情報は続きから。
続く>>#生成AI #AIpic.twitter.com/Gc7ezBbvXQ
NeRF・LLMなどAIと連携したヒューマノイド
【NeRF・LLMなどAIと連携】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
様々なAIを複合的に搭載した、ヒューマノイドロボット @MenteeBot。AIと同じくヒューマノイドもここ近年飛躍的な進化を遂げている。
自然言語で対話しながら、タスクを手伝ってくれると愛着がさらに湧きそう。#AI #LLMpic.twitter.com/Z8Z3CosNFN
3DGSインペインティング InFusion
【3DGSインペインティング】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
InFusionは、3D Gaussian Splattingで生成された3Dシーン上の一部を書き換えることができるフレームワーク。
屋外も屋内も双方対応。オブジェクトの入れ替えだけではなく、元あるオブジェクトを消すこともできます。#生成AI #3DGSpic.twitter.com/tOJrFox7Vg
どれが現実でどれがVFXか？
【どれが現実でどれがVFXか？】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
VFX アプリ @Simulon によるデモクリップ。ドラゴンは流石にVFXだろとか、パンはとコーヒーは作り物っぽいとか、色々考えましたが、最後にタネ明かしされます。
素晴らしいクオリティ！こうした技術は生成AIとも相性が良さそう。#VFX #映像pic.twitter.com/h6pYm3hKDr
生成AIで創ったITロゴクッション
【生成AIで創ったITロゴクッション】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
プロントもシェアされています！ちょっと本物がほしい！！
プロンプト
The plush-style [Company name] logo, illustration#生成AI #AI https://t.co/99IjgSVGIK
AIで生成された3D素材パック
【AIで生成された3D素材パック】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 18, 2024
AIで生成された高品質な動物の可愛い3Dパック。45体の様々な動物がセットになっています。
破綻も無く、とてもキレイでカワイイ！世界観も統一されている。商用OKで28ドルで販売。#素材 #3DCG #生成AI https://t.co/cr8CmKaexu