生成AIによる動画は一歩前に！GEN2マルチモーションブラシが全ユーザーに開放 他 / Catch up on AI 2024.1.19
Pick up
動画生成AI、Gen2で画像の中の要素を指定してそれぞれにアニメーションを付与できるマルチモーションブラシが全ユーザーに開放。
【生成AIによる動画は一歩前に！】@runwaymlが、一部ユーザーのみに開放していた、複数の要素をそれぞれに制御するマルチモーションブラシが全ユーザー使えるようになりました。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 18, 2024
公式からも利用シーンをまとめたデモリールが登場。pic.twitter.com/vdaiW5Kpas
Catch up on AI
マルチモーションブラシを試す 鳥編
【マルチモーションブラシを試す 鳥編】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 18, 2024
アニメのセルルック風のイラストで、マルチモーションブラシテスト！！
これは凄い。。。生成AIの動画生成で、今まで手が届かなかったこと、悩みが解決。
凄い上手く行った！！
設定範囲は続きから>>#生成AI #AIアニメ pic.twitter.com/P6PB41QRIu
マルチモーションブラシを試す アニメ編
【マルチモーションブラシを試す アニメ編】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
アニメのセルルック風のイラストをMidJourneyで生成して、Gen2で制御。
アニメのセルルックの人間はまだ上手く行かないですが、崩れることが無いように制御は可能に。
瞬きとか自然にできるようになるとよいな。
引き続き研究します！#生成AI #Gen2 pic.twitter.com/NrbWx9JcJU
喜怒哀楽が表現できるポートレート生成AIモデル
【喜怒哀楽が表現できるポートレートモデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
AWPortrait 1.3は、表情の理解を高め、笑顔、笑い、痛み、泣きなどの表情を生成できる生成AIモデル。
屋外シーンでも、非常にリアルな描写可能。SD1.5がベースとなっていますが、ここまでできるのか。
続く>>pic.twitter.com/P0D0G91R0d
マーク・ザッカーバーグ氏がMetaのAIに関する最新情報を投稿
【MetaのAI戦略】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
CEOのマーク・ザッカーバーグ氏がMetaのAIに関する最新情報を投稿。世界で話題になっています。
・オープンソースのAGIを開発中
・FAIRとGenAIの2つのAI研究チームの統合
・Llama 3のトレーニング
・今年中に35万枚のH100を導入#AI #AGI #Metapic.twitter.com/KtJ3YU4i2N
機械式アームを利用したAIアニメ
【機械式アームを利用したAIアニメ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
AIアニメと言えば、派手なアクションシーンは難しく、不可能だと思っていましたが、機械式アームを利用した動きと所々に演出を加えて見事なハイスピードアニメに仕上げています。
世界は広い...。
CREATOR：@Mrboofyy#生成AI #AIpic.twitter.com/KHL9dqzlGI
Stable Video Diffusion用の、ControlNetのlineartモデルが登場
【動画生成AIでもControlNet】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
Stable Video Diffusion用の、ControlNetのlineartモデルが登場。
これである程度制御が可能になる部分も出てくるので、様々なビデオ生成が容易になりそう。#生成AIpic.twitter.com/Dsxr8yCoGQ
ダンス生成AI+ComfyUI「ComfyUI-AnimateAnyone-Evolved」
【ダンス生成AI+ComfyUI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 19, 2024
ComfyUI-AnimateAnyone-Evolvedがリリース！
RTX3080以上のGPUで動作し、LCMやLoRAもサポートしています。まだパワーは必要で、RTX3080で24フレーム2秒の生成に835.67 秒かかります。
続く>>#生成AI #AIダンス pic.twitter.com/jdSzDLQ9Jh
高精度3DCG生成AIがオープンソース化
【高精度3DCG生成AIがオープンソース化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 18, 2024
画像から3DCGを生成するTGS (Triplane meets Gaussian Splatting) のコードがGithubで公開されオープンソース化！合わせて、モデルデータがHugging Faceで公開されました。
かなり精度が高いフレームワークのため3Dも更に進化していきそう！
続く>> pic.twitter.com/oBZGL8jkT5