見出し画像

Weekly Report 2024/04/17 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0131

[MainPrompt] EA, light, waves, particles, chain reaction, rain, quantum physics, quantum theory, fission, fusion, science, quantum fluctuation, future, hope, pray, humanity, singularity, synchronicity, whiteout, white background,
[Relationship] Paradox [Element] Light, Wave, Particle, Quantum, Wisdom [Special] Chain Reaction, Prometheus, Humanity, Pray

[ニュース] AI関連

[動画] Adobe - Generative AI in Premiere Pro

Adobe Premiere Proでの生成AIの活用です。個人的に、一番驚いたのがFireflyだけでなくRunwayやPika、OpenAIのSoraなどモデルを変更することが出来る点ですね。この繋がり方はかなり便利だと思いますが、モデルやサービスごとに生成した場合のCAI(コンテンツ認証)周りをどう解釈するのか。独自のデータセットでの追加学習とローカルモデルでの生成まで出来るとさらに用途は広がりそうです。あと実写以外での活用も気になります。去年Adobeが発表したAI機能はどれだけ実装されているのか。今回の機能の実装タイミングがAdobeにとってかなり重要になりそうです。

[LLM] OpenAI - OpenAI Japan 始動

始動と同時に、日本語向けに最適化したGPT-4のカスタムモデル提供は素晴らしいですね。3倍速くなり、トークン数が減りコストが減るのはありがたすぎます。数か月以内にAPIをリリースしてくれるとの事なので楽しみです。今後、生成AIにおいての日本の立ち位置が世界的にどうなっていくのかも含めて、かなり大きなニュースだと思いました。

[動画] Blackmagic Design - DaVinci Resolve 19

DaVinciは早い段階からNeural Engine AI機能を導入してたので、IntelliTrack AI、Depth生成など活用方法がさすがですね。Normal生成からのリライティング機能は実装されると思っていましたが次回ですかね。個人的に、FusionページでVDBが読み込めてDensity、Temperature、Colorをコントロールできることに驚きました。Nukeのアップデートも楽しみです。

[画像] Stability AI - ZeST: Zero-Shot Material Transfer from a Single Image

マテリアルトランスファー面白いですね。StableDiffusionでは、フェルトや手縫いの質感に変えて、質感違いのバリエーションをよく生成するので、これは是非公開されたら触ってみたいですね。Stability AIも参加しているので、オープンソースで公開されることを期待しています。

[3D] Google - PhysAvatar

マルチビューの動画を元にメッシュを生成し、モーションをインプットするとクロスの物理シミュレーション込みでアバターを生成できる。クロスシミュレーションのディティールでクオリティが変わってくるので、このアプローチは良いですね。

[3D] Tencent - InstantMesh

以前紹介したInstantMeshがComfyUIにも実装されましたので、ご興味がありましたら是非。

[3D] Spline - AI 3D Generation

Splineにも3D生成機能が搭載されましたね。

[画像] ByteDance - ControlNet++

ControlNetは画像生成においてかなり重要な技術なので、様々な企業が最適化に取り組んでいますね。

[画像] PixArt-Σ demo 公開

以前紹介した4K画像をそのまま生成が可能なPixArt-Σのdemoが公開されました。4Kの画像が30秒ぐらいで生成出来て驚きました。良かったら試してみて下さい。

[3D] RealmDreamer: Text-Driven 3D Scene Generation

text to imageで生成し、pointcloud化してdepthを付けた上でinpaintで補間して空間を作ってますね。このアプローチだったらすぐにでも実際に活用できそうです。

[音楽] Udio

SUNOに匹敵かそれ以上の音楽生成AIサービスがリリースされていました。

[AI活用] The Odd Bird Kingdom

個人的には、コマ撮りアニメーションのこういった質感はかなり相性がいいと思っています。

[法] STORIA法律事務所 - 【連載】生成AIと著作権～文化審議会著作権分科会法制度小委員会「考え方」を踏まえて～第1回

第1回から第6回までが一気にアップされています。じっくり読んでいこうと思います。

[資料] 漫画制作における生成AI活用の現状：2024春

かなり早い段階からAIを漫画に活用していた、うめ先生による講演資料になります。漫画系の案件が多いので、こういった活用例はかなり参考になりました。

[記事] OpenAIの「GPT Store」が著作権を巡る新たな火種を生んでいる

文章やテキストでの問題については、あまり掘り下げていなかったので勉強になりました。

[法] 文化庁 - 「AI と著作権に関する考え方について（素案）」のパブリックコメントの結果について（個人）その2

文化庁からパブリックコメントの結果、その2が公開されていました。様々な意見が観れるのでありがたいです。

[記事] 「アニメ業界が一夜にして崩壊する可能性も」アニメ制作と「生成系AI」にまつわる危機的状況とは

アニメチェーンがどの様にしてクリーンなモデルを制作していくのか楽しみです。

[解説] Sony - Consistency ModelとRectified Flow ～前置き＆概要編～

SD3でも活用されている技術で、概要を勉強しないとと思っていたのでかなり助かります。

[記事] AIに雑誌は作れるか？原稿、タイトル、デザイン、画像をすべてAIに作らせてみてわかったこと

DIMEさんが興味深い検証をしてました。

[資料] ControlNet 勉強会資料

抹茶もなかさんによるControlNet勉強会の資料です。ControleNetの仕組みについてとても分かり易くまとまっていたので、かなり勉強になりました。

[ニュース] CG・リアルタイムエンジン関連

[Blender] ANIMAX 2.3 - New Fracturing Tool + Geo Nodes Generators

[Maxon] Maxon 2024年 春のリリース

いいなと思ったら応援しよう！