どんな動画生成AIの一貫性も向上させる「FreeInit」他 / Catch up on AI 2023.12.14
Pick up
初期に生成したビデオを、繰り返し推論して、ギャップを埋める形で動画を整えていくイメージでどんな動画生成AIの一貫性も向上させる「FreeInit」。AnimateDiffを始め様々な動画生成AIで利用が可能。
FreeInit
Project：https://tianxingwu.github.io/pages/FreeInit/
arXiv：https://arxiv.org/abs/2312.07537
Code：https://github.com/TianxingWu/FreeInit
【どんな動画生成AIの一貫性も向上させる】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
FreeInitはAI動画の一貫性を劇的に向上させる技術。今まで、ガイド無しでは安定しなかったAI動画の安定性を飛躍的に高めてくれるフレームワークです。
AnimateDiffなどにも対応！すごい進化!!
続く>>#生成AI #AI #AI動画pic.twitter.com/T5CBY88DGk
Catch up on AI
FreeInit + Animatediffのテスト
【FreeInit + Animatediffのテスト】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
動画生成AIの一貫性も向上させる「FreeInit」を利用してテスト。mm_15_v2と比べてもかなりの精度が出ている。動画がフレームごとにジャンプしない！！
一定のラインを超えた進化だ！！
Thanks：@toyxyz3
続く>>#生成AI #AI #AI動画pic.twitter.com/RuIRpRkwpR
ARも生成AIの時代！「Shader App」
【ARも生成AIの時代！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
Shader App（ @shaderapp ）は、コード不要のAI生成ツール。AIでパーソナライズされたARのフェイスマスクを瞬時に生成、ARはビデオを録画可能です。
まだリリース前で、Discordからテスターに申し込めます。#AR #生成AIpic.twitter.com/5mAK22INH1
Googleの新AI Gemini Proの情報まとめ
【Googleの新AI Gemini Proの情報まとめ】pic.twitter.com/eUyEDEKu87
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
▼特徴
・高性能-同サイズのAIを上回る
・38言語対応
・180カ国展開予定
・32Kコンテキストウィンドウ
・Google AI Studioで開発者支援
・マルチモーダルと一般2つのエンドポイント
・多種多様なSDK
▼価格…
着せ替え生成AI「Outfit Anyone」のデモがリリース！
【着せ替え生成AIのデモがリリース！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
AIで着せ替えができる「Outfit Anyone」のデモ公開。人物は現在アップロード不可でプリセットだけになっていますが、服はアップロード可能です！
パイナップルとかも着せることができるみたいです!
デモは続きから>>#生成AI #OutfitAnyone #着せ替え pic.twitter.com/BnIHL01EnA
ボーカルも入る音楽生成AI「Suno AI」
【ボーカルも入る音楽生成AIを試す】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
Xでも話題になっているSuno AI（ @suno_ai_ ）でChatGPTに歌詞を作成、ボカロ風に生成！
素晴らしいレベル、歌詞を入れただけとは思えない精度。ベースには十分ではある。
是非音声ONで（歌唱は20秒過ぎから）#生成AI #ボカロ #SunoAI pic.twitter.com/XZd2E28Awt
写真の一部をプロンプトで改変できる生成AI「PowerPaint」
【写真の一部をプロンプトで改変できる生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
PowerPaintはオープンソースの強力なインペイントツール。写真の一部を範囲指定してプロンプトで書き換えることが可能！
ControlNetにも対応し、正確な形で書き込むこともでき、OpenPoseにも対応。
続く>>#画像生成AI pic.twitter.com/J4lalH51on
ローカルで動作する高品質な3DCG生成AI「UpFusion」
【ローカルで動作する高品質な3DCG生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 14, 2023
UpFusionは複数枚の画像から高精度な3DCGが生成可能な生成AI。一枚でもいけるが、複数枚重ねることで飛躍的に精度が向上する。
徐々に改良されてきており、まだ精度は向上の余地があるとのこと。
続く>>#生成AI #AI #3DCGpic.twitter.com/lA79LgG0M1
世界最高精度のAIアナウンサー動画
【世界最高精度のAIアナウンサー動画】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
まったく分からなかった...。
バーチャルアナウンサーという概念は昔からありますが、飛躍的に精度が向上。一部はAIだと分かるが、全体的に全く違和感の無いレベルとなっている。
Channel1（ @channel1_ai ）#生成AI #AI #AI動画pic.twitter.com/Pv2GLb8zcO
1枚の画像から、高品質な3DCGを生成「Stable Zero123」
【1枚の画像から、高品質な3DCGを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 13, 2023
「Stable Zero123」はStable Diffusionを手掛けるstability AIがリリースした、3DCG生成AI。
・品質が大幅向上
・SD1.5がベース
・24GBのVRAMを推奨
サンプル画像から異なるアングルを予測して生成
続く>>#3DCG #生成AI #AIpic.twitter.com/QwMmXrcHn6