複数のキャラクターを保持して動画生成「Story Diffusion」 他 / Catch up on AI 2024.5.1
Pick up
動画だけでは無く、漫画なども生成が可能。1シーンの解像度がどんどんと上がっていく。
Story Diffusion
Project：https://storydiffusion.github.io
【複数のキャラクターを保持して動画生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
Story Diffusionは複数の一貫性のあるキャラクターを生成し、ストーリーがある漫画や動画を生成可能。
複数の人物が登場する動画も高い一貫性を保っている。
続く>>#生成AI #AIpic.twitter.com/cnIpTHMv8v
Catch up on AI
アメリカの新聞社8社がOpenAIとMicrosoftを著作権侵害で提訴
【新たな訴訟】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
アメリカの新聞社8社がOpenAIとMicrosoftを著作権侵害で提訴。ニュース記事数百万件を「盗用」と主張。
「フェアユース」という概念が、これによってどう変わるのか、変わらないのか？注目です。#生成AI #AI
Source：https://t.co/AfOryPTVIw
生成AIでPDF to Video
【PDF to Video】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
AIを利用して、PDFを解説するサービス。PDFをドロップするだけで、動画を生成。
動画だけではなく、プレゼンテーション スライドも合わせて生成される。
Developer：@MisbahSypic.twitter.com/0Ng5Ca0HQI
3Dシーンから指定オブジェクトを消す GScream
【3Dシーンから指定オブジェクトを消す】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
GScream は、3D シーンでオブジェクトを削除するフレームワーク。以前紹介したInFusionとは異なり、消すことに特化している。
消された後だけみたら気がつけないレベル感。
続く>>#3DGS #AIpic.twitter.com/OFgB0qpNAT
シンプルなイラストタッチに動画変換
【シンプルなイラストタッチに動画変換】@GoEnhanceが新しい動画変換スタイルを発表。hand-drawn illustration styleで、素朴なイラストレーションを実現。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
様々なテイストに対応できるのはとてもありがたい。#生成AI #AIpic.twitter.com/gm9DZS1Gnl
2〜4枚の画像から拘束に3DGSを生成
【2〜4枚の画像から拘束に3DGSを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
わずかでまばらな画像から、高精度な3Dガウス スプラッティング0.23 秒程度で生成するフレームワーク。
高品質かつ、超高速。これはすごい...！
続く>>#3DGS #AIpic.twitter.com/GUN5Aau5qc
AI着せ替えをよりシンプルに簡単に
【AI着せ替えをよりシンプルに簡単に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
様々な着せ替えができるフレームワークがリリースされていますが、@rendernet_aiの「Change It」が気軽に試せる感じが、とても便利そう。
試着や着せ替えなどは、一般化した後、市場への反映は比較的早いと推測。#生成AI #AIpic.twitter.com/uFehDd47F5
現実と仮想をAIでMIX
【現実と仮想をAIでMIX】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 1, 2024
筆で絵の具を塗るというシンプルな動きをAIで見事にアートに昇華させている。完全AIではない、現実からのvideo-to-videoはとても魅力的。
チュートリアルは続き>>
Creator：@ErwannMillonpic.twitter.com/eTo1kBR0ur
既存の3Dアセットを取り込み-テクスチャを生成AIで
【既存の3Dアセットを取り込み可能】@CSM_ai が実装している生成AIでテクスチャを修正していくリテクスチャ。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 30, 2024
既存の3Dモデルがアップロードできるようになり、テクスチャ無しのモデルをアップしてテクスチャを張り込んでいくことが可能に！#3DCG #生成AIpic.twitter.com/J39i8WRoBI