NeRFで構築されたオブジェクトを自由に動かす 他 / Catch up on AI 2023.11.25
Pick up
NeRFで構築されたオブジェクトを物理法則に基づいて自由に動かす技術。
ここからさらに飛躍するとは全く思わなかった。最近のテクノロジーの進化のスピードは想像を絶するものがありますね。
【NeRFで構築されたオブジェクトを自由に動かす】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
NeRF領域で新しい技術「Neural Radiance Fields」。NeRFで構築されたオブジェクトを物理法則に基づいて自由自在に動かせるというもの。
創造よりも、さらに進化していく。
続く>>#NeRF #AI #3DCG pic.twitter.com/yFqYn5CQSC
Catch up on AI
AIシンガーソングライターAnna Indianaが登場！
【AIシンガーソングライターが登場！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
Anna Indiana（ @AnnaIndianaAI ）
ついにここまで来たという感じ。これは日本でもキチンとローカライズすれば行けそう。
最初の曲は「Betrayed by this Town」。普通にいい曲だし、声も良い。#生成AI #AI #AI音楽pic.twitter.com/qGa3DTByC4
今考えうる、最高峰のAI動画ワークフロー
【今考えうる、最高峰のAI動画ワークフロー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
1. AIで画像生成
2. Magnific AIでアップスケール
3. Gen 2で動画化
4. Topazでアップスケール+フレーム補間#生成AI #AI動画 #AIアートpic.twitter.com/RVAAUjEs2w
ComfyUI + Stable Diffusion Videoのテスト
ComfyUI + Stable Diffusion Videoのテスト
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
RTX 4090で1024 × 576サイズで、おおよそ40秒で生成。
ローカルで気軽にimg2videoができるようになったのは素晴らしい。#ComfyUI #SVD #生成AI pic.twitter.com/ui0IjP268X
Stable Video Diffusionが8GBのVRAMでも動作
【Stable Video Diffusionが8GBのVRAMでも動作】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
ComfyUIは、8GBを搭載した GTX1080で 25フレームの長さの1024x576ビデオを生成可能！早速試してみる！https://t.co/DFvEPzW7Y6 pic.twitter.com/5UQvoG9bsy
ZipLoRAというstyle LoRAと、subject LoRAを融合
【このイメージを、この感じで生成を実現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
ZipLoRAという概念は、それぞれで独立して学習させたstyle LoRAと、subject LoRAを融合させて、理想の画像を生成するという概念。
概念的にはすごくわかりやすい気がする。
続く>>#LoRA #生成AI #AI pic.twitter.com/Zm9UrJglqe
映像から3Dモーションを手軽に作成
【映像から3Dモーションを手軽に作成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
GoProカメラで撮影した映像を「Move Multi-Cam（ @MoveAI_ ）」を使って3Dモーションデータに変換。
3DCGの生成AIと組み合わせると色々なことができそうです！！
続く>>#3DCG #生成AI #AIpic.twitter.com/ReFvZGTgAi
モーションブラシで生成AI動画を自由に
【モーションブラシで生成AI動画を自由に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
Runway（ @runwayml ） Gen2で実装された、MotionBrushの生成コレクション。ポイントが非常にわかりやすい。
カメラワークとも連携ができるのでかなり映像表現に幅をもたせることができる！#生成AI #Gen2 pic.twitter.com/H0xWVp2K6H
ミームをAIで動画化
【ミームをAIで動画化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 25, 2023
WEB条では有名なミームをstable video diffusionで動画化するのがXでよく見かける。こうして知れ渡っているインターネットミームが、AIにより生成され、新しい形で広がるのはなんだか面白い！#生成AI #AI動画 #SVDpic.twitter.com/jimq8TSgz5