矢印で生成AI動画を制御「DragNUWA」他 / Catch up on AI 2024.1.9
Pick up
生成AIで思い通りの動きを実現するのは現状で言うとランダムで生成されるため、運の要素も強く、理想の動きを引き当てるまで生成を回し続ける必要があります。
マイクロソフトが発表したDragNUWAは、背景やオブジェクトを直接操作して理想の動きを叶えてくれる生成AIの技術です。
DragNUWA: Fine-grained Control in Video Generation by Integrating Text, Image, and Trajectory
Project：https://microsoft.com/en-us/research/project/dragnuwa/
arXiv：https://arxiv.org/abs/2308.08089
code：https://github.com/ProjectNUWA/DragNUWA?tab=readme-ov-file
【矢印で生成AI動画を制御】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 8, 2024
DragNUWAは、マイクロソフトが発表したテキスト、画像、軌跡を統合して動画を生成する動画生成モデル。
動画生成前に、画像上に方向に対応する矢印マークを描画し、背景やオブジェクトを直接操作ができるようになっています。思い描く動画に近づく技術。
続く>> pic.twitter.com/5jguKzWHbW
Catch up on AI
ゲーム内のNPC（ノンプレイヤーキャラクター）が生成AIで変わろうとしている
【ゲームにAI NPCを】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 9, 2024
一定の会話やタスクしかこなせないゲーム内のNPC（ノンプレイヤーキャラクター）が生成AIで変わろうとしている。
生成AIを組み込ませることで、会話だけでなく、NPC も自律的にタスクを実行が可能に。これが進んでいくと現実に近い体験になりますね。pic.twitter.com/8GyXiAfKJg
動画生成AIの中でもクオリティが高い、RUNWAYとLEONARDOのアウトプット比較
【生成AIアウトプット比較】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 9, 2024
動画生成AIの中でもクオリティが高い、RUNWAY（ @runwayml ）とLEONARDO（ @LeonardoAi_ ）で生成動画比較。元画像はMidjourneyで作成され、その後 Magnificでアップスケールしたものを利用。
皆さんはどちらが好みですか？
CREATOR：@maxescupic.twitter.com/3elsLMXGQZ
画像と画像の間を補完し動画化するSteerable Motionがアップデートし1.1へ
【中割り生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 9, 2024
画像と画像の間を補完し動画化するSteerable Motionがアップデートし1.1へ。
AnimatediffチームによるSparseCtrlとIPAdapterを組み合わせて利用し、より動きの精度をと画像への忠実性を向上させている。
近日公開とのこと！
続く>>pic.twitter.com/oSpfUjQE0X
ノルウェーの首都オスロにある、オスロ中央駅に導入されたアンドロイド EVE
【実社会に投入されたロボット】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 9, 2024
ノルウェーの首都オスロにある、オスロ中央駅に導入された @1x_tech が手掛けるアンドロイド EVE。寒い冬、通勤の人々に温かい飲み物を提供しています。
これは良いプロモーション。渡すときの笑顔が良い！！pic.twitter.com/DCe0Uf5An0
ニューヨークタイムズの訴訟を受けて、OpenAIがスタンスを発表。
【OpenAIとジャーナリズム】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 8, 2024
ニューヨークタイムズの訴訟を受けて、OpenAIがスタンスを発表。
・報道機関とは連携し新たな機会を創出
・学習はフェアユース。オプトアウトも用意
・学習内容がそのまま出力されるのはバグ、ゼロを目指している
・NYTは全容を伝えていないhttps://t.co/eamv7ZqOgr
AIで超鮮明画像にアップスケール
【AIで超鮮明画像にアップスケール】@Magnific_AI を利用して1.2MP→77MP (10.752x7168px) へアップスケール。単純に画像が大きくなるだけではなくて、形や質感などを保って、全てが鮮明になっています。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 8, 2024
バックグラウンドで10～15分。様々な活用方法がありそうです。pic.twitter.com/H9ldE40K25