開始フレームと終了フレームからアニメを生成 / Catch up on AI 2024.3.23
Pick up
開始フレームと終了フレームをインプットすると、その間のフレームを生成してくる技術。かなり自然に動画を生成してくれている。
Explorative Inbetweening of Time and Space
Project：https://time-reversal.github.io
arXiv：https://arxiv.org/abs/2403.14611
Code：Coming Soon
【中割 生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 22, 2024
Explorative Inbetweening of Time and Spaceは開始フレームと終了フレームのみに基づいて被写体の動きを生成してくれる技術。
実写メインのサンプルになりますが、かなり自然な中間フレームを生成してくれる。アニメにも期待！
続く>>#生成AI #中割pic.twitter.com/QEeu34PMUC
Catch up on AI
高精度な手のアニメ
【高精度な手のアニメ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
Depthモデルを利用した、複雑な手の動きを完璧に再現するアニメーション。
ワークフローは明らかになっていないとのことですが。2〜3個の制御を組み合わせており、ipAdapterをベースとしたAnimateiff-Lightningかと推測されています。#生成AI #AI https://t.co/NvIXEpzY78
電子ペーパーと生成AI Stable diffusion in my pocket
【電子ペーパーと生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
Stable diffusion in my pocket白黒の電子ペーパー上に、生成された画像が表示される。最新のテクノロジーと古い表現の組み合わせはどこか魅力的。#生成AI #AIpic.twitter.com/2YIacuwLrw
一貫性が高いビデオ変換 FRESCO
【一貫性が高いビデオ変換】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
FRESCOは、ControlNetとEbsynthを組み合わせて、極めて一貫性の高い、video-to-videoが可能なフレームワーク。
シンプルなWEB UIで動作し、だれでも簡単に利用することが可能。ベースモデルはSD1.5。
続く>>#AI #生成AIhttps://t.co/gCZgAj9pfz
3DGSを高品質化 RAIN-GS
【3DGSを高品質化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
RAIN-GSは、正則化、トレーニング、外部モデルを 使用せずに3D ガウス スプラッティングの結果を大幅に引き上げることに成功。
続く>>pic.twitter.com/qMP7himgcb
Apple Vision Proで3D生成
【Apple Vision Proで3D生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
テキストと画像を数秒で3Dに変換、現実世界に生成し、共有。未来の世界が一歩近づいてきた感。
自分がイメージするものを具現化する力、言語化の能力がこれからは大切かもしれない。#生成AI #AIpic.twitter.com/3uJ3PFoRqD
リグなどを利用せず、静止画をテキストで指示しアニメ化
【静止画をアニメ化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 23, 2024
Viggle（@ViggleAI）はリグなどを利用せず、静止画をテキストで指示しアニメ化するサービス。
また、静止画と動画を組み合わせて動きを生成することでもできる。
続く>>#生成AIpic.twitter.com/gVgS4yOfcI
失われたものを生成AIで復元
【失われたものを生成AIで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 22, 2024
生成AIで損失したアート作品を復元の実験。もう無いもの、復元できないものを想像とデータの力で復元したいと願うのは少なからずあると思う。
Creator：@icreatelifepic.twitter.com/WNfdCWAO0F
AIアップスケーラー比較
【AIアップスケーラー比較】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 22, 2024
Stability AI / Magnific / Midjourney / Krea
各社のアップスケーラーの比較。
同一画像での生成比較はとてもわかり易い。パラメータにもよると思うが、各社特徴がある。#画像生成AI #AI
THX!：@doganuraldesignpic.twitter.com/d3iCXnIHEe