300m2もの大規模フォトリアルなNeRFが簡単に「SMERF」他 / Catch up on AI 2023.12.19
Pick up
300m2もの大規模なシーンに対応したフォトリアルなNeRFが構築できる技術「SMERF」 が登場。
Codeは、Coming Soonとなっていますが、これが手軽に生成ができるならこれは凄い進化だ！
SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration
Project：https://smerf-3d.github.io
arXiv：https://arxiv.org/abs/2312.07541
example：https://smerf-3d.github.io/?ref=aiartweekly#demos
【大規模フォトリアルなNeRFが簡単に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
SMERFは、フレームレートが高く、フォトリアルなNeRFが生成できる技術。最大300m²の大規模なシーンにも対応。
マンションの部屋を一室まるごと3D化してNeRFで内見するなんて未来も、もうすぐそこまで来ています。
続く>>#NeRF #AI #3D pic.twitter.com/YW8GvP0vlO
Catch up on AI
生成AIで着替えたり、入れ替えたり、合成したり。「AnyDoor」
【生成AIで着替えたり、入れ替えたり、合成したり。】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
AnyDoorは、画像上で様々な操作が可能な技術。
Codeは公開されていましたが、Windowsに対応していませんでしたが、AnyDoor-for-windowsが @bdsqlsz 氏がリリース。
Windows環境へconda、もしくはpipでインストール可能！
続く>>#生成AI #AI pic.twitter.com/m8YvGbY2vP
滑らかに動くアバターをテキストから生成「GAvatar」
【滑らかに動くアバターをテキストから生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
GAvatarは、アニメーション可能な3D Gaussian アバター。テキストプロンプトで多様なアニメーションが付与したアバターを生成可能。
今までの先行技術に比べると驚くほど詳細で滑らかです。
続く>>#生成AI #アバター #3Dpic.twitter.com/5QyqfmoeV4
複数のGaussian Splattingを重ねる「JavaScript Gaussian Splatting Library」
【複数のGaussian Splattingを重ねる】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
3Dシーンを生成できる3D Gaussian Splattingを複数読み込ませ配置できるJavaScriptベースのWEBエディタが登場。
かなり軽快に動作、これはなかなか操作性が良い。3DGSを組み合わせて様々な世界が創れそう。
続く>>#3DGS #AIpic.twitter.com/Ej7WuBIadk
高精度AIアニメのDomoAIの作例 5選
【高精度AIアニメのDomoAIの作例 5選】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
国内でも一気に話題になったDiscord上で簡単にアニメなどが生成できる生成AI「DomoAI」。様々な作品が公開されていますので、紹介したいと思います。
クリエイター：@LionsCreat 【1/5】
続く>>#生成AI #DomoAI #AIアニメpic.twitter.com/xkbS11xlV8
シンプルでわかりやすいリアルタイム生成AI「TURBO ART」
【シンプルでわかりやすいリアルタイム生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
TURBO ARTは、かなりシンプルでユーザーフレンドリーなフロントユーザーフェイスのリアルタイム生成AI。
これなら誰でも、簡単に使えそう！
デモは続きから>>#生成AI #SDXLTurbo #AI pic.twitter.com/taYwwSmiBV
歌手の音声、歌唱を再現するAI「Amphion」
【歌手の音声、歌唱を再現するAI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023
Amphion（ @realamphion ）は音声、音響、歌唱を再現する生成AI。中国語の歌をテイラー・スウィフト風に変換されているデモが発表。
これは、また、とんでもないものが出てきた。
是非音声ONでご覧ください。
続く>>#生成AI #音楽 #AIpic.twitter.com/d62ZWTAhKd
プロンプト無しでも画像から理解「Context Diffusion」
【プロンプト無しでも画像から理解】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
Context Diffusionは、プロンプトが無い場合、生成された画像の品質や忠実度は低下しますが、プロンプト無しでも、ガイドの画像から意図に沿った画像が生成できるというもの。
思ったことがAIに伝わるようになりそうな技術。今後の発展に期待。
続く>>#生成AI pic.twitter.com/XFQlq0qLwb
顔が崩壊しない生成AIアニメKaiberAIがアップデートされ、Motion 2.0がリリース
【顔が崩壊しない生成AIアニメ】@KaiberAI がアップデートされ、Motion 2.0がリリース。AIで動かすと、どうしても顔の作画が崩壊していたが、非常に安定している。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
動きがさらに付くと、そうは行かないかもしれませんが、この安定性は素晴らしい！#生成AI #AIアニメpic.twitter.com/I8x7BN7bTV