StableVideoDiffusionがv1.1へアップデート 他 / Catch up on AI 2024.2.4
Pick up
Stable Video Diffusion (SVD) 1.1 Image-to-Video は、静止画像を調整フレームとして取り込み、そこからビデオを生成する拡散モデル。
クオリティが向上。注意点として、モデルは研究目的のみを目的としており、まだ商用利用はできません。
stable-video-diffusion-img2vid-xt-1-1
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
【StableVideoDiffusionがアップデート！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
動画生成モデルSVD1.1がリリース。以前のverと比べて大幅にアップデート。
・必要なVRAMが削減
・推論の高速化
・カメラモーションだけで無く被写体も動く
・モデルや生物の一貫性が改善
アニメはまだ苦手。流体は得意。
続く>>pic.twitter.com/hbgcRm5liK
Catch up on AI
アップデートで超ハイクオリティに！FinalFrameがv2.0を公開
【アップデートで超ハイクオリティに！】https://t.co/X62ipKWczz（ @FinalFrameAI ） が v2.0を公開。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
デモはText-to-videoで、アプリ内で完結し、アップスケーリングも無しのそのままのクオリティ。
v2.1ではカメラコントロールも搭載するそうです。#動画生成AI #AIpic.twitter.com/vt6yMT7kyM
ノードベースの簡単画像生成AI「ML Blocks」
【ノードベースの簡単画像生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
ML BlocksはノーコードのAI画像生成および分析ワークフロープラットフォーム。
ComfyUIをもっとユーザーフレンドリーにしたイメージ。デモを見る限りは非常に使いやすそうなユーザーインターフェース！
続く>>#生成AI #画像生成AI pic.twitter.com/YEdTpQVhrA
GoogleのGemini Ultraのベンチマークが公開
【GoogleのGemini Ultraのベンチマーク】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
GPT-4を8つのベンチマーク中、7つの項目で上回る結果を見せ、MMLU (大規模マルチタスク言語理解) において人間の専門家を上回るパフォーマンスを示した。
また画像解釈のテストでもの10個のベンチマークのうち10個で、GPT-4V（ビジョン）を圧倒。#AI #LLM https://t.co/jAr4SsmYnL
SVD1とSVD1.1の比較実験 完全に同一の画像とプロンプトを利用した動画生成比較
【SVD1とSVD1.1の比較実験】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
完全に同一の画像とプロンプトを利用した動画生成比較実験！とても分かりやすい
上段 - インプットイメージ
中段 - v1での動画生成
下段 - V1.1での動画生成
設定はFrames: 25, Motion Bucket ID: 127, FPS: 6, Aug Level: 0.00#生成AIpic.twitter.com/fOvKKC3u7f
Normal mapから「高さ」を再構築
【Normal mapから「高さ」を再構築】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
ジオメトリノードを使用して、ポリゴン表面の凹凸を疑似的に表現できるノーマルマップから、高さを推測して、再構築するデモ。
色々な可能性を感じる技術検証。pic.twitter.com/O1cdaF8q0C
SVD1.1 x ComfyUIのアップスケール例
【SVD1.1 x ComfyUIのアップスケール例】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 4, 2024
StableVideoDiffusion1.1を利用しつつ、おそらくアップスケールしてフレーム補間している事例。とてもキレイでクオリティが一段上がって見える。
やはり仕上げと工夫は大切。#生成AI #AIpic.twitter.com/GMq1yZ8QQ8
Apple Vision Pro - 未来が始まった！文字通り世界が変わった1日
【Apple Vision Pro - 未来が始まった！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
文字通り世界が変わった1日。
まだまだ珍しい風景ですが、日本でもいずれ、Apple Watchのようにこれが当たり前になっていく可能性も。
いくつか未来を感じるシーンを集めました。
続く>>
<1/5>pic.twitter.com/GtQ4oji12Q
実写＋AIハイブリッド映画 Anothe
【実写＋AIハイブリッド映画 Another】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
人間のクリエイターのパフォーマンスと、AIを利用したホラーシーンを融合させた物語。
Stable Diffusion/Comfyuiに加えて、GEN-2などのSaasも利用！
新しい映像作品のクリエイティブの一つの可能性。#生成AI #AI pic.twitter.com/pBJAE9vWS5