AI動画生成の長尺動画問題を解決「LongAnimatediff」他 / Catch up on AI 2023.12.24

Pick up

AnimateDiff v3に続き、「LongAnimatediff」がリリース。

モデルは32フレームと64フレーム用の2モデルとなり、64フレームモデルは64フレーム生成すると絵が崩れるため、現状では64フレームモデルで32フレームで生成することが最も良い結果が得られるようです。

LongAnimateDiff
Project：https://github.com/Lightricks/LongAnimateDiff/
modelcard：https://huggingface.co/Lightricks/LongAnimateDiff

【AI動画生成の長尺動画問題を解決】

AnimateDiff v3がリリースされてまだ間もないですが、LongAnimatediffがリリースされました。このモデルは一貫性を保ち長い動画が生成が難しい問題を解決するもので、2つのモデルが公開されました。

続く>>pic.twitter.com/QEcqm1s85R

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

Catch up on AI

着せ替えや、オブジェクトの合成などが可能な「AnyDoor」のデモ発表

【速報】
着せ替えや、オブジェクトの合成などが可能な「AnyDoor」のオンラインデモがリリース！！
HF上で試せます！！https://t.co/ovymHWcp4Mhttps://t.co/9qAxHkUzzF https://t.co/5KKYsEfbMi

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

生成AIによる現代アート「Bear to Bull / ベア・トゥ・ブル」

【生成AIによる現代アート】
「Bear to Bull / ベア・トゥ・ブル」と名付けられた作品は、様々な動物たちのホリデーパレードを描く。

見たことあるようで、見たことが無い景色は、不気味さも感じる一方アートとも言える。将来、現代アートの仲間入りするかもしれない。pic.twitter.com/HEFy4KZ4a7

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

2つの画像をモーフィングするAI「DiffMorpher」

【2つの画像をモーフィングするAI】
DiffMorpherは、指定した2つの画像、A→Bといった形でモーフィングさせることが可能です。ゴッホの自画像から、フェルメールの真珠の耳飾りの少女へのモーフィングのデモも見事です。

コードもデモも公開中！

デモは続きから>> pic.twitter.com/3m7OLVrtNg

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

AIで生成した画像を深度推定で3Dプリント

【AIで生成した画像を3Dプリント】
Midjourney v6で生成した画像から Marigold Depthで、深度推定して、3Dプリント可能なSTLに変換。

実際に出力されたモノは、まだ無いようですが、これができると、3Dプリンタの楽しみ方は、すごく広がりそう!!

続く>>#生成AI #3D #AIpic.twitter.com/8FqA0rt10F

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

3D推論を正確に「RelPose++」

【3D推論を正確に】
カメラからの3D推論については、上手くいかないケースもありますが、RelPose++は、2～8枚のカメラビューから、正確性の高い、6Dポーズを生成可能。

従来技術に比べて、姿勢予測が大幅に改善、精度の高い3Dの再構成が可能に！

続く>>#3D #AIpic.twitter.com/nD3GddJjc9

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

深度マップを利用し安定した動画を生成「Stable Video Diffusion Temporal Controlnet」

【深度マップを利用し安定した動画を生成】
ControlNet+Stable Video Diffusionで、整合性が取れた動画を生成可能に。入力したイメージと、動作したい動画からの深度データで動きを固定します。

CodeやModelデータはすでに公開されています。

続く>>#生成AI #SVD #AIpic.twitter.com/7EQbRIhsly

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023

DomoAIのスタイル一覧まとめ

【DomoAIのスタイル一覧まとめ】
一貫性の高いAIアニメが生成できるDomoAI（ @DomoaiO9855 ）で、利用できるスタイルを全て同じ動画でアニメ化を試してみました。

Style1.Anime v1-フラットカラーアニメ <1/6>
プロンプト：1girl, Japanese, sword

続く>>#生成AI #AIアニメ #AI pic.twitter.com/FwwjHMhKs3

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023

Macでもリアルタイム生成AIに挑戦「Vanilla SD turbo」

【Macでもリアルタイム生成AIに挑戦】
Vanilla SD turboは、AppleのM1 Maxで、現在は1.5fps程度で動作。

CoreML コンパイル、6ビットパレット化、TAESD、および StreamDiffusionのRCFGを利用すれば20fpsまで向上できると開発者は予測している。

Developer：@cyrildiagnepic.twitter.com/NoInpB9i7L

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023

128倍AIアップスケールアート

https://x.com/taziku_co/status/1738699498115977707?s=20

AIのNewsやアートワーク情報を更新中⚡

Catch up on AI｜Yoshihiro Tanaka | taziku｜note

X（Twitter）ではAIの最新情報を発信中🐦

Tweets by taziku_co