表情アニメをComfyUIで再現「ComfyUI DragNUWA」他 / Catch up on AI 2024.1.22
Pick up
GEN2のマルチモーションブラシをComfyUIとDragNUWAで再現。話題になったアニメキャラクターの表情アニメを再現しています。
ComfyUI-DragNUWA
Code：https://github.com/chaojie/ComfyUI-DragNUWA
workflow：https://github.com/chaojie/ComfyUI-DragNUWA/blob/main/workflow.json
【表情アニメをComfyUIで再現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 21, 2024
GEN2のマルチモーションブラシをDragNUWAで再現。
モーションブラシと異なり、より柔軟で、細部までモーションパスが指定可能。
一つの技術革新が起きると、オープンソースで再現しより、一般化する流れは生成AIならでは。
続く>>#生成AIpic.twitter.com/g2HGWHDuED
Catch up on AI
テスラのFull Self-Driving 12.1.2のサンフランシスコの夜の雨の中での試乗デモ
【完全自動運転】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
テスラのFull Self-Driving 12.1.2のサンフランシスコの夜の雨の中での試乗デモ。
自動運転はまだまだ怖さとの戦いもありますが、未来を感じる技術。#Tesla #AIpic.twitter.com/U4isYEf9B1
Adobeが背景の画像を指定すると、切り抜いた動画と合成して、動画を生成するモデルを発表
【画像から動画の背景を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
Adobeが背景の画像を指定すると、切り抜いた動画と合成して、動画を生成するモデルを発表。
言葉にすると少しわかりにくいため、デモ動画をご覧ください！
中途半端に途切れてしまったものも、それに合わせて背景を生成しつつ動画化されています。
続く>>#生成AI pic.twitter.com/RaJqsdP4Fv
HeyGenが新しいデモ リアルタイムにアバターとチャット
【リアルタイムにアバターとチャット】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
アバター生成AIのHeyGen（ @HeyGen_Official ）が新しいデモを発表。
今まで生成依頼してしばらく待っていたのが、チャットの回答に合わせてリアルタイムにアバターが生成され返答。
色々とゲームチェンジが起きそうな技術pic.twitter.com/bFO4CycKMo
画像生成からトレーニングまでオールインワン「SCEPTER Studio」
【画像生成からトレーニングまで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
SCEPTER Studioはアリババ発表した画像の生成、転送、編集、ファインチューニングまでを網羅したオープンソース。
1枚の画像からでも実用レベルで学習できている。絵柄がここまで気軽に学習できるのはとても便利。#生成AIpic.twitter.com/ktKRqGQDek
VR空間で歩けるを実現「Holotile」
【VR空間で歩けるを実現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
Holotileは、Disney Researchが発表した、大型の器具などを必要とせず、床の上にタイルを設置するだけで、VR空間内で歩くを実現。
タイルとなっているため、推測ですが範囲指定もできそうで使い勝手が良さそう。#VRpic.twitter.com/QvJNXgvWd6
実写の空飛ぶ城にGen2でアニメーションをつける実験
【空に浮かぶ城にアニメーション】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 22, 2024
実写の空飛ぶ城にGen2（ @runwayml ）でアニメーションをつける実験。滝とか雲など、かなり意図通りに制御ができた。
雲はざっくり、滝は詳細にブラシ範囲指定すると上手くいきました。イラストより実写はかなり精度が高い。#生成AI pic.twitter.com/e5DojpX1gr
AIで複数枚の画像からテクスチャを転送「TextureDreamer」
【AIで複数枚の画像からテクスチャを転送】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 21, 2024
TextureDreamerはいくつかの画像から異なる形状の3Dメッシュにテキスチャを配置できる技術。
整合性は取りにくくなるが、形状が全く異なっていても、テクスチャ転送が可能！
続く>>#生成AI #3Dpic.twitter.com/1yjCkoWlaL
学習無しでキャラを再現「InstantID」
【学習無しでキャラを再現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 21, 2024
InstantIDは、一枚の画像から様々なポーズやスタイルをキャラクター性を活かして生成可能。
特に素晴らしいのが、Multi-ID、Multi-Styleという機能は複数の登場人物をそれぞれの顔、テイストで再現ができる！
続く>>#生成AI pic.twitter.com/8zroIkgRnu