見出し画像

Weekly Report 2024/10/23 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0158

Elemental Animaで初めての魚類になります。そして、今作は奥さんへの誕生日プレゼント作品になります。"ベタ"と"ビスマス結晶"をモチーフとしてリクエストしてもらいました。"ビスマス結晶"の鱗を持つ"ベタ"が、様々な"可能性"のある"膜宇宙"を踊るように泳いでいる様子を描いています。いつか、一緒にビスマス結晶を作ったり、ベタを飼う事が出来たらと思っています。
作業BGM：スピッツ『美しい鰭』

[お礼] AIファッションイベント『NFFT2025_SS AI Fashion Movie 展』

展示会やレセプションパーティーに来てくださった方々本当にありがとうございました。会場では色々な方と"AIについて"様々な角度でお話が出来て楽しかったです。

[youtube] 桜井政博のゲーム作るには 最終回スペシャル

”桜井政博のゲーム作るには”のチャンネルは開設時からずっと見てきました。桜井さんの仕事や考え方、プロとしての姿勢は、ゲーム開発に限らず、自分の人生においても様々な場面で糧になっていました。最終回では、チャンネル開設の経緯や目的、制作工程を細かく解説してくれました。志が高く、業界に対して愛の溢れた誠実な姿勢を感じる最終回を泣きながら見ていました。ご興味がありましたら最終回だけでも是非見ていただければと思います。
桜井さん、このチャンネルをこの世にアーカイブしていただきありがとございました。悩んだ時など何度も見返したいと思います。そして、約2年半本当にお疲れさまでした。

[ニュース] AI関連

[動画] Genmo - Mochi 1

GenmoからMochi 1というオープンソースの動画生成モデルが公開されました。スコアでは、今までの動画生成サービスのモデルを超えているとの事です。動画生成の環境にかなりの影響が出ますね。GenmoのオープンソースによるAI民主化へのポリシーも素晴らしいです。モデルを色々試したいところですが、最低条件としてH100 GPU×4は流石に無理すぎます。ここから軽量化モデルが出るまでは用意してくれているPlaygroundで試そうと思います。個人的にはOpen Model Initiativeにジョインして欲しいですね。ここから、動画系はMidjouney、Black Forest Labsが控えているので、このモデルの公開で情勢がどう変わっていくのか楽しみすぎます。思想も含めてGenmoは一番気になるプロジェクトに躍り出ました。

[動画] genmoai-smol

GenmoをまとめていたらMochi 1を24GBのVRAMで動かせるようにしたリポジトリを見つけました。640×480 100ステップ 生成時間15-25分との事。ワクワクしてきますね。Fluxの時と同じく当分はMochi 1の情報が増えそうです。こうなってくるとRTX 5090はやっぱり即購入になりそうですｗ

[動画] Runway - Act-One

今までのリップシンク系やLivePortraitとは次元の違う表現力ですね。これは、映像表現の幅がかなり広がるので早く試してみたいです。Runwayは映像作品制作に特化した機能を追加していくのが毎回素晴らしいです。

[画像] Stability AI - Stable Diffusion 3.5

Stable Diffusion 3.5が公開されました。スコアをみる限り、Flux.1[dev]の方が高いですが、かなり精度は向上していますね。ライセンスの面を考えると活用の幅も広いですし、ControlNetsと追加学習のしやすさによってはSD3.5も良いかもですね。もう少し軽量化したモデルと精度の良いIP Adapterをすぐ出してくれたら嬉しいです。Sanaも控えているので、画像生成モデルも動きが激しいですね。

[ComfyUI] ComfyUI Now Supports Stable Diffusion 3.5

SD3.5の公開とほぼ同時にComfyUIが対応されていたので、早速検証してみようと思います。

[LLM] Anthropic - Developing a computer use model

Claudeがパソコンを使えるようになってしまったそうです。1年前ぐらいにMicrosoftも同じような発表はしていましたが、遂に活用できる所まで来てしまいました・・・。パソコンを使えるAIは流石に怖いですね。活用の幅が良い面も悪い面も広すぎて。AIに自分のパソコンを勝手に使われる感覚は一回経験した方が良いと思うので試してみます。すでに怖い。

[ComfyUI] ComfyUI V1 Release

ComfyUI V1 Releaseします。全てパッケージ化されてワンクリックでインストールできるようにるとの事です。まだオープンベータを募集している段階ですが、ComfyUIは活用の幅が広いのでご興味がありましたら是非触ってみて下さい。ComfyUI仲間が欲しいです。

[動画] Adobe - Motion Inversion for Video Customization

動画のControlNetですね。Adobeさんの動画版Fireflyも自由に使えるようになるのが楽しみです。

[動画] Rhymes AI - Allegro

こちらもオープンソースの動画生成モデルです。軽量ではありますが、精度は見た感じMochi 1の方がよさそうですね。

[動画] Open-Sora - Open-Sora-Plan-v1.3.0

Open-Soraもアップデートしたモデルを公開していました。この状況での動画生成モデルの開発は大変すぎますね。

[画像] Sana-1.6B - Demo

今一番期待している画像生成モデルのSanaのDemoが公開されていました。モデルが公開されるまでは、ここでPromptの感覚をつかんでいこうと思います。

[動画] Ideogram - Ideogram Canvas

IndeogramのCanvas機能は便利ですね。ポスター、フライヤーなどデザイン的なアプローチではレスポンスも早くかなり便利なのでちょいちょい活用させて頂いています。

[MLLM] BAAI - Emu3

AGIを目指すマルチモーダルモデルがオープンソースで公開されました。画像生成、動画生成などを統合したモデルの中ではとんでもない精度だと思います。ですが、モデルだけで35GBはもう動かせないです・・・。だれかVRAMを・・・。この方が、一つのモデルから、プロンプトを生成→画像を生成→画像のキャプションまでをComfyUIでやってました。更に動画まで出来るはずなので、凄い世界になってきてますね。

[Motion] Microsoft - Look Ma, no markers

マーカーレスでこの精度は凄すぎますね。

[動画] alibaba - Tora model Release and ComfyUI

Toraのモデルが公開され、CogVideoとToraを活用したComfyUIのワークフローをお馴染みのkijaiさんが公開してくれました。ローカル環境でここまで動画のコントロールが出来るのは現状無いのでありがたいです。

[動画] Viggle AI - Mic

Viggleはサンプルの使い方でもやる事はありますが、色々なAIの技術の統合の仕方が上手すぎますね。

[動画] KREA AI - AI Video

このアプローチも面白いですね。色々動画生成サービスがAPIを公開しているので、Krea AIに統合して使えるようにしています。サブスクが沢山あるより一つに統合されている方が使い易いパターンもあるので良いですね。

[企業] Worldcoin became World.

"Worldcoin"が日本に初めて来た時にすぐ虹彩を捧げに行き認証しました。"World"になりブロックチェーンでどんな世界を見せてくれるのか楽しみです。”World is yours."で新井英樹の"World is Mine"を思い出しました。

[4D] nVidia - Tex4D: Zero-shot 4D Scene Texturing
with Video Diffusion Models

テキストからテクスチャーの無い3Dメッシュに4Dテクスチャを生成するフレームワークです。

[記事] 【新プラン登場】画像生成AIによる空間画像レンダリングサービス「MyRenderer（マイレンダラー）」

このアプローチはシンプルでいいですね。自分のローカル環境でも再現できるか試してみようと思います。

[ロボット] Boston Dynamics、ロボット開発でトヨタと提携

この提携はワクワクしますね。

[記事] ダメ出しされても｢AIのせい｣にできる…｢お～いお茶｣が商品デザイン数百案をAIに任せた｢納期短縮｣以上の効能

見出しはあんまりよくないですが、伊藤園はかなり早い段階からAI活用に取り組んでいて素晴らしいです。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[Epic] Fab, Epic’s New Unified Content Marketplace, Is Here!

[Epic] FAB - Megascans

Megascansを年末まで無料で入手できるます。生成AIのデータセットとしてもかなり活用できるので興味がありましたら是非。

[Blender] Physical Water FX / Blender Addon

[Blender] AI Material Factory

[Unity] Unity 6

いいなと思ったら応援しよう！