中割りも期待！精度が高いフレーム補間「VIDIM」他 / Catch up on AI 2024.4.3
Pick up
VIDIM（Video Frame Interpolation with Diffusion Modelは非常に精度が高い、フレーム補間フレームワーム。
まだ論文だけの発表ですが、こうした技術もどんどん進化し続けている。
Video Frame Interpolation with Diffusion Model
https://synthical.com/abs/2404.01203
【精度が高いフレーム補完】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
VIDIM（Video Frame Interpolation with Diffusion Model）は開始フレームと終了フレームを指定して実効、フレーム補完ができるフレームワーム。
低解像度のビデオを生成後、高解像度ビデオを生成する二段階の生成でかなり精度が高い。中割にも使えそう。
続く>>#AI https://t.co/axgqbQM1Fo
Catch up on AI
生成AI x アニメーターの手書きで修正
【生成AI x アニメーターの手書きで修正】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
生成AIで、キャラをリファレンスにして動きをグリーンバックで生成。1フレームごとに書き出して整合性とれるよう手書きで修正。そこから背景を生成し動画化し合成。
さらにクオリティをあげる実験も今後チャレンジ！
Colabo：@KnKDesign#AIアニメ pic.twitter.com/6CNqYY3Lgc
4DGaussianが進化 Per-Gaussian Embedding based Deformation
【4DGaussianが進化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
Per-Gaussian Embedding based Deformationは、3DGSで動的なシーンを描く場合、既存の手法では、動的な部分がぼやけてしまったり、不鮮明になったりする課題を解決する技術。
4DGSが当然の世界に、自由視点でコンテンツをみることができる日も近い。
続く>>#3DGS pic.twitter.com/anwCtVVBks
新たなAIロボットが誕生「Walker S」
【新たなAIロボットが誕生】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
UBTECHとBaiduが提携してLLMが組み込まれた人型ロボット「Walker S」が登場。BaiduのLLMを利用して、タスクの解釈実行。
自然言語で対話して、服を畳んだり、物を分類したりすることが可能。#LLM #AIpic.twitter.com/XJ8RNBi0VF
ViggleとDomoAIの比較
【ViggleとDomoAIの比較】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
Tiktokのダンスムービーを同一のリファレンスで比べた比較動画。
人物の部分は、好みや最終アウトプットにもよるが、衣服の部分の詳細感はDomoAIのほうが優れている気がする。#動画生成AI #AIpic.twitter.com/41Ofer6Bbd
静止画から衣服の3Dデータを生成 Garment3DGen
【静止画から衣服の3Dデータを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 3, 2024
Garment3DGenは、3Dモデルが着ることができるメッシュ付きの衣服を静止画から生成できるフレームワーム。
3Dが扱えなかったクリエイターや一般層がこうした技術を利用して広がっていけば、メタバースやARなどもさらに盛り上がっていきそう。
続く>>#生成AI pic.twitter.com/2qpuqGZUc2
人物生成に特化した基礎モデル CosmicMan
【人物生成に特化した基礎モデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 2, 2024
CosmicManは、人物の画像生成に特化し、バランスの取れた外観・構造、正確なプロンプト理解がされた、フォトリアリスティック人物画像を生成可能。
顔のバランスや体とクビのバランスなどはかなり自然。また基礎モデルなので動画生成AIと組合せも可能。
続く>> pic.twitter.com/8OlwmZfk4s
プロフェッショナルも生成AIを
【プロフェッショナルも生成AIを】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 2, 2024
これは大きなニュース！里中満智子先生、倉田よしみ先生が、生成AIによるマンガ作品を初披露。
実感値としてもありますが、こうしてプロフェッショナルの参入などがあり、やはり、少しずつだが世界が変わってきているのを感じる。#生成AI #AI https://t.co/XmTQT0RqWi
AIアニメグリーンバックで生成
【AIアニメグリーンバック】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 2, 2024
先日公開した複数の生成AIを組合せて生成したAIアニメ実験のベースのグリーンバックのみの映像。
不安定な部分もあるがこのくらいなら1コマずつ修正ができるし、背景と切り離されたことで自由に世界を安定した形で形成できる。#AIアニメhttps://t.co/esPi48iQkA pic.twitter.com/sp3MIypAkf