AIアップスケーラーは動画でも「Upscale-A-Video」他 / Catch up on AI 2023.12.13
Pick up
ビデオを高解像度にアップスケールする「Upscale-A-Video」。現在はボヤケを修正するレベルですが、画像のアップスケーラーの用に将来的には精度も上げられるなどはあるかもしれません。
「Upscale-A-Video」の論文にも、「ちらつきの低減」はされるものの「低レベルの一貫性が実現」となっているので、再現性についてはこれからの研究みたいです。
Codeまだ公開されておらず、アセットだけ設置してありリポジトリだけURLだけ発行していました。
Upscale-A-Video
project：https://shangchenzhou.com/projects/upscale-a-video/
arXiv：https://arxiv.org/abs/2312.06640
Code:https://github.com/sczhou/Upscale-A-Video
【AIアップスケーラーは動画にも】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 12, 2023
動画にも対応したアップスケーラー「Upscale-A-Video」が登場。
昔の写真をAIでアップスケールして鮮明にしたり、i2iも混ぜてクオリティアップさせたりが話題ですが、次は動画へ！
続く>>#生成AI #AI動画pic.twitter.com/Eq6zM75SJ3
Catch up on AI
アニメにも対応できる着せ替え生成AI「Outfit Anyone」
【アニメにも対応できる着せ替え生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
「Outfit Anyone」は人間の写真と、服の切り抜き写真があれば写真のポージングに合わせて仮想試着が簡単に。服が正面からの写真しか無くても、試着時に補正してくれます。AnimateAnyoneと同じくアリババから発表!
続く>>#生成AI #AI #ファッション pic.twitter.com/n2T342Na9a
あえて口の動きや表情を意図的に控えめにし、人形感を再現
色々な賛否両論はあるけど、技術としては素晴らしい。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
あえて口の動きや表情を意図的に控えめにし、
Juggernaut XLを利用してvid2vid#生成AI #vid2vid https://t.co/miGipDGQqV
Mootionに新モデルAkariが登場
【Mootionに新モデル登場！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
テキスト → 動きのある3DCGをプロンプトで生成できるMootion（ @Mootion_AI ）に新モデルが発表。2次元のキャラクターのモデルが追加されました。
これは色々と使えそう、i2iして、アップスケールなど色々と使えそう！！
続く>>pic.twitter.com/JSx7vdIeV1
動物の動きを抽出し生成AIの3DCGへ「AnimatableDreamer
【動物の動きを抽出し生成AIの3DCGへ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
「AnimatableDreamer」は動画から動物のモーションを抽出し、テキストで3DCGを作成しモーションを反映することが可能！
猫と犬はサンプル多そうだけど、リスとかペンギンにも対応！シンプルに凄い！
続く>>#生成AI #AI #アニメpic.twitter.com/KbMBkNXdyf
NeRFをプロンプトで書き換える生成AI「DreamEditor」
【NeRFをプロンプトで書き換える生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
「DreamEditor」は、カメラ画像から3D空間を生成して視点を自由自在に動かせるNeRFをベースにプロンプトで書き換えることができる技術。
銅像の馬を鹿に変えたり、ぬいぐるみをロボットに変換！
続く>>#NeRF #生成AI #AIpic.twitter.com/8NvZ2BXJHc
生卵も割らずに掴める！テスラOptimus-Gen2
【生卵も割らずに掴める！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
optimus-Gen2ものすごい滑らかに動く。精密操作も対応している。一年前に将来価格290万円未満と発表されていたが果たして。
日本で買えるようになったら、一台検討してみたい！#optimus #テスラ #AI https://t.co/YSUB0d1MbR
AIで動く・喋る・アバター動画を生成アプリ Kn1ght
【AIで動く・喋る・アバター動画を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 12, 2023
Kn1ght（ @Kn1ght_app ）は1枚の画像から簡単に動画を生成できるiOSアプリ。
1.アバターを選択
2.声を選択
3.テキスト入力
4.エモートなどをつける
この4stepでショート動画が完成します！
続く>>#AI #アバター #ショート動画 pic.twitter.com/ypXbqEweZX
スクショだけで超絶精度でコーディング v0
【スクショだけで超絶精度でコーディング】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 12, 2023
v0（@v0）のスクリーンショットからのコーディングは精度が段違い。従来より一段上の精度がでている。
プロンプトで修正していくことも可能！フロントコーディングの世界は変わる。
続く>>#生成AI #コーディング #プログラムpic.twitter.com/INuBmFsYCa