一貫性をほぼ完璧に保ったAIアニメ 他 / Catch up on AI 2023.12.2
Pick up
AnimateDiffと新しくリリースされたIPAdapterを利用した一貫性の非常に高いAIアニメ。video2videoからほぼ完璧に生成ができており、かなりの精度になっています。
アクティブな戦闘シーンなども問題なく対応している。かなりの革新。
AnimateDiffと新しくリリースされたIPAdapterということはわかっていますが、詳細な情報はまだ無いため、海外をリサーチして情報を集めて試してみたいと思います。
【一貫性をほぼ完璧に保ったAIアニメ】#AnimateDiff と新しくリリースされた #IPAdapter で生成した70年代風アニメ。チラつきなど無く一貫性を保っている。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 1, 2023
撮影はiPhoneで行われた映像をvideo2videoで作成し10fpsにしている。これは凄い！！#生成AI #AIpic.twitter.com/7Bgh7vxudN
【一貫性をほぼ完璧に保ったAIアニメ2】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 1, 2023
こちらはAnimateDiffと新しい、IPadpaterで、イラストレーションベースに変換されたハイモーションの戦闘シーン！
背景は若干チラつくけど、キャラクターの一貫性の高さと高速なのも相まって全くと言っていいほど違和感が無い。#生成AI #AIアニメ #AI https://t.co/GOxdBOcAQ6
Catch up on AI
超高精細なAI動画ワークフロー
【超高精細なAI動画ワークフロー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 1, 2023
アップスケーラーが世が広まってからAI動画は一段階精度がました気がします。
ワークフローは
・画像を @midjourney で生成
・アップスケールを @krea_ai
・動画生成を @PixVerse_
かなり質感が保たれたAI動画#生成AI #AI #AI動画pic.twitter.com/mX7DheCslM
ロボットとAIが進化すればいつか来る未来！？
【ロボットとAIが進化すればいつか来る未来！？】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
ロボットが保安官になっての訓練。様々な思惑が絡んでくるこの分野、正しく平和に進化していってもらうことを願います。#AI #ロボット https://t.co/Edj3qPWh95
動画の中の物体も操作できる生成AI
【動画の中の物体も操作できる生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
変換するのではなくて、動きまで変えることができる生成AI「Motion-Conditioned Image Animation」
テキストプロンプトで、オレンジをリンゴに変換して落とすなどが可能に！
この概念は無かった。
続く>>#生成AI #AI動画 #AIpic.twitter.com/ZwuUagrLST
Metaが多言語翻訳AIを発表
【Metaが多言語翻訳AIを発表】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
自分の声を保持しながら、話した声を他言語に変換できる音声翻訳AIモデル「SeamlessM4T」を発表。
声だけではなくて感情も表現できるとのこと。#生成AI #AI #音声AIpic.twitter.com/pMMY51EFfG
生成AIで作成された美しいLoFi × アニメーション
【生成AIで作成された美しいLoFi × アニメーション】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
200を超えるクリップが生成され、 GEN-2ですべて生成されている。まだまだ甘い部分はあるものの、世界観が統一され、とても美しい。
レベルは日に日に上がっている。
続く>>#生成AI #AI #AIアニメpic.twitter.com/e9v7tVb23A
XTTS商用ライセンスリリース発表
【XTTS商用ライセンスリリース発表】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
3秒の音声でクローンを作成し、さらに多言語に変換するcoqui TTS（ @coqui_ai ）が、音声生成AI XTTSの商用ライセンスを発表。
年間ライセンスは365ドルとなっています。#生成AI #AI #音声生成AIpic.twitter.com/dUWlef8KF5
一貫性を保つ生成AI動画ワークフロー
【一貫性を保つ生成AI動画ワークフロー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
1.SDXL Turbo で生成 SD1.5 Refinerへ
2.2枚画像を生成
3.Animatediffでフレーム補完
素晴らしいクオリティ!!
続く>>#SDXL #ComfyUI #生成AIpic.twitter.com/1OLDaNlLYl
イラストもイケる！新たな生成AI動画を試す
【イラストもイケる！新たな生成AI動画を試す】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 2, 2023
PixVerse（ @PixVerse_ )でイラストレーションを動画化。
キャラクターの顔がほぼ崩れずいけた！！
これはGen2やPikaLabsと比べてもイラストについては精度が言い気がします。
今後に期待です。#生成AI #AI動画 #イラスト pic.twitter.com/ItAysXWzcP