1枚の画像から無限に続く映像を生成する「WonderJourney」 他 / Catch up on AI 2023.12.10
Pick up
1枚の画像を入力するだけ、その手前の世界を生成し、さらにカメラを制御して3Dで生成された世界の映像をアウトプットできるWonderJourney。1枚の絵から世界が拡張する。
WonderJourney（codeはcomingSoon）
Project：https://kovenyu.com/wonderjourney/
paper：https://arxiv.org/pdf/2312.03884.pdf
code：https://github.com/KovenYu/WonderJourney
【1枚の画像から無限に続く映像を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
WonderJourneyは、制御可能なカメラの軌道に沿って、一貫した持続性のある3Dシーンを作成可能。
この世界が拡張されていく感じは素晴らしい！
続く>>#生成AI #画像生成AI #AIpic.twitter.com/xiqtIbgY2h
Catch up on AI
リアルタイム会話型音声AIエージェントAura登場
【リアルタイム会話型音声AIエージェント登場】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 10, 2023
Auraの特徴
・200ミリ秒未満で応答
・人間のような感情がこもったTTS
・様々なシナリオに適応可能
・APIも提供予定
続く>>#生成AI #AIエージェントpic.twitter.com/czK4vrBj0d
Stable video mask test → 必要なところだけ動かす
【SVD + Maskでの実験】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 10, 2023
Stable video mask test → 必要なところだけ動かすことができるということか。SVDもリリースから色々なテストや実験が繰り返されている。
オープンソースで世界中でパラレルに検証が行われるのはとてもワクワクする！#生成AI #SVD #AI動画 https://t.co/wATtLGxda2
PwCが公開している「生成AIに関する実態調査2023 秋」生き残るために生成AI導入
【他社に負けないために #生成AI 】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 10, 2023
PwCが公開している「生成AIに関する実態調査2023 秋」競合がフル活用してきたら勝てない。進化には淘汰がある。
使わない、使いたくないは自由だけど、使う企業に勝てないとなると生き残るためにそれは必要。
資本主義らしい。https://t.co/bC22QG27ma#AI
Magic Animate とオリジナルDensePose実験
【Magic Animate とオリジナルDensePose実験】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 10, 2023
2次元のイラストレーションだとDensePoseとの違いが出て、ゴツくなってしまった件で、DensePoseを抽出し横長の動画とすることで正方形で読み込まれるので、長体がかかって、細くなるか実験。
少し細くなった#生成AI #MagicAnimate pic.twitter.com/kuNkJjNRIF
Photoshopで上手なAIの使い方
【Photoshopで上手なAIの使い方】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 10, 2023
基本の部分は人間が創る。表現が難しい、時間がかかるところはAIに任せる。これは生成AIとの良い共創とワークフロー。
これをネイティブに使いこなしてくるクリエイターが次世代には沢山現れる。#生成AI pic.twitter.com/61dVdL1u4G
AIによるアップスケーラーで絵文字をアップスケール
これをやってみようと思える、思考に嫉妬。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
AIによるアップスケーラーも色々な使い方がある！#生成AI #AI #アップスケーラー https://t.co/QLYSEfkl0W
AIの技術検証とフェアユースについて
i2iはたしかに技術が主眼の投稿でも日本だとNGなRTやコメントが多い。フェアユースの要件に当てはまっているかはわからないけど、フェアユースって考え方は日本には無いから海外とはまた違った反応。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
自分が技術紹介する時に不要な議論を生むので、気をつけないと。 https://t.co/1vbMbacmRJ
infEditは、プロンプトを変更するだけで、画像のベース変更する生成AI
【プロンプトで自由に画像操作】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
馬をシマウマに、猫を虎に、シルエットをリアルな写真に！
infEditは、プロンプトを変更するだけで、画像のベースはそのままに変更を加えたい所だけ変更可能な技術。
続く>>#生成AI #AIpic.twitter.com/efETtLc6gD
RAVEはダンスやタイピングなどの複雑な人間の動きやダイナミックなシーンなどに対応した生成AI
【狼をロボットへ、クルマを電車へ！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
RAVEはダンスやタイピングなどの複雑な人間の動きやダイナミックなシーンなどに対応した、様々なシーンに変換できる生成AI。
生成AI一貫性のあるVFXを実現。
続く>>#生成AI #AI動画 #AIpic.twitter.com/H5GGpIjYjq