1秒間に100枚生成可能な生成AI「StreamDiffusion」他 / Catch up on AI 2023.12.23
Pick up
StreamDiffusion は、100fpsという超高速で画像生成できる生成AI。速度が全てを解決する訳では無いが、ここまで速度が上がると使い方やバリューの根本が変わる良い例。
画像生成AIはまた異なるフェーズへ入りました。次はどんな進化をするか楽しみです。
StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation
arXiv：https://arxiv.org/abs/2312.12491
code：https://github.com/cumulo-autumn/StreamDiffusion
【1秒間に100枚生成】#StreamDiffusion は、100fpsという超高速で画像生成できる生成AI。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 21, 2023
その論文とコードが公開！CGモデルからのリアルタイム生成なども可能に。速いという事が、様々な事象を解決する一つの例だと思う。
続く>>#生成AI #画像生成AI pic.twitter.com/MEUtrwZkdT
Catch up on AI
生成AIを象徴するキャラクターを目指して「アイノサキ」
【生成AIを象徴するキャラクターを目指して】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
今まで、テクノロジーの節目では、その技術を象徴するキャラクターが登場し、新たな文化を前に推し進めてきました。
AIアニメプロジェクトは、生成AI×クリエイターでデザインした「アイノサキ」を発表しました。
続く>>
【1/4】#生成AI #アイノサキ pic.twitter.com/Ky4tVVpWTh
動画をリアルタイムでAIで変更「Fairy」
【動画をリアルタイムでAIで変更】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
FairyはMetaが発表した動画をプロンプトによってリアルタイムに変更、変換ができるというもの。
驚くほど効率化されており、120フレームの 512x384のビデオをわずか14秒で生成。
続く>>#生成AI #AI動画 #AI pic.twitter.com/fdHRJZMmzB
TiktokのBytedanceからトーク生成AI「DREAM-Talk」
【TiktokのBytedanceからトーク生成AI発表】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
DREAM-Talkは、1枚の画像からリアルで感情が込もった喋アニメーションを生成する技術。
喜怒哀楽など様々な感情表現に対応し、中国語、日本語、フランス語、ドイツ語など多言語もサポートする。
続く>>#生成AI #AI #多言語 pic.twitter.com/lb9kvtpUge
生成AIで火星の基地を64倍ズームのAIアート
【生成AIで火星の基地を64倍ズーム】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
画像生成AI @midjourney とAIのアップスケーラ @Magnific_AI を利用した拡大し続けるアートワーク。
作品としてとてもも興味深いのですが、プロンプトやパラメータが公開されていました！
チュートリアルは続く>>#生成AI #AIアートpic.twitter.com/Oa9YfBgR2W
踊るクマの3Dガウス スプラット「platter Image」
【踊るクマの3Dガウス スプラット】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
単一の画像から、超高速で3Dを再構築する技術を利用して、踊るクマのムービーを、3Dで再構築。
これが高精度で実現すると、2Dの動画から3Dシーンが生成され、自由視点で見れるようになるかも！?
続く>>#生成AI #3DGS #3Dpic.twitter.com/6C27rnQ1dA
厳選されたAI動画データベース「zero1cine」
【厳選されたAI動画データベース】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
zero1cine（ @zero1cine ）は、AIによって生成された動画のデータベース。厳選した表現を集め、コミュニティと共有するサービス。
区別はしつつ、クオリティの高いものを集めるというのは一つのニーズかと思う。#生成AI #AIpic.twitter.com/lt9lXPtidE
3DCGでは無く、CADを生成するAI「Text-to-CAD UI」
【3DCGでは無く、CADを生成するAI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 21, 2023
Text-to-CAD UIは、テキストプロンプトからCADが生成できる生成AI。「a spur gear with 13 teeth」といったプロンプトからギアのCADデータを生成する。
精度などの課題もあるが、一定のニーズはありそう。
続く>>#生成AI #CADpic.twitter.com/3cGKQEnrtP
ヘアスタイルを生成AIで「HAAR」
【ヘアスタイルを生成AIで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 21, 2023
HAARはテキストプロンプトから人間のヘアスタイルを生成することができます。確かに全人類が考えていることではある。プロンプトで生成し、アニメーション化することも可能！
こういうユーモアがある技術素晴らしい！
続く>>#生成AI #髪型pic.twitter.com/AGZo3VcGqm
ONE PIECE公式 x 楽曲生成AI「YO-HO-HOおれ達海賊」
【ONE PIECE公式 x 楽曲生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 21, 2023
「YO-HO-HOおれ達海賊」は、作者からの依頼により、公式から発表された、楽曲生成AI、Suno AI（ @suno_ai_ ）で作成された曲！
生成AIでのクリエイティブもこういう立場のある方が参加してくれると、一気に民主化が進む！#ONEPIECE #生成AI https://t.co/51uydzl0uh