見出し画像

Weekly Report 2024/11/27 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0163

ここ3作は、朱雀・白虎・青龍と来ていましたので、四神最後の"玄武"をモチーフにしました。太陰神とされたり、陰陽が根底にあるElemental Animaと相性の良いモチーフでした。"玄武"が冬の象徴でもあるというのは、制作した後に知りました。玄=黒なので全体的に暗い雰囲気にしましたが、亀と蛇の表情や絡まり方、月明りでぼんやりと照らされる湖など個人的に気に入っています。インターステラー再上映を観に行く前だったので、一瞬、"ミラーの星"のような背景にしようと思いましたが辞めました。
作業BGM：Hans Zimmer『Interstellar (Original Motion Picture Soundtrack)』

[お知らせ] 近未来教育フォーラム 2024

11/30に近未来教育フォーラム 2024で登壇させていただきます。ご興味がありましたら是非。

[映画] インターステラーIMAX 再上映

オリジナル画角でインターステラー"を観るのは約4年ぶりですが、最高でした。また観に行きます。あと、同じ回に山崎貴監督も来ていて驚きました。
“Do not go gentle into that good night”

[ニュース] AI関連

[画像] Black Forest Labs - FLUX.1 Tools

Fill (inpainting and outpainting) / Depth, Canny / Redux
どのモデルもクオリティが高くて重宝しております。個人的には、Fillのアウトペイントの機能がかなり精度が高いのでありがたいですね。ですが、どのモデルも重すぎるので、もう少し軽量化して頂けると助かります。あと、ReduxがClip経由なのがちょっと自分のワークフロー的に使いづらいです。

[動画] Luma AI - new Dream Machine 

Creators Programで先行で色々検証させて頂いておりました。Boards機能やBrainstorm機能など便利な機能が増えて動画生成がかなり捗りますね。画像を生成するにもプロンプトを補助・拡張してくれる上に、ImagenFXの様にバリエーションの候補も選択しやすいのでありがたいです。iOSでも生成できるようになったり、色々洗練してきました。

[動画] Runway - Expand Video

この拡張機能はシンプルに応用が利く範囲が広いので素晴らしいです。

[画像] Runway - Frames

Runwayの新しい画像生成モデルが発表されました。フィルムグレインなどの質感がかなり向上していますね。早く触ってみたいです。

[動画] Mochi - Mochi 1 LoRA Fine-tuner

これは嬉しすぎますね！遂に精度の高い動画モデルに対してLoRAを制作できるようになりました！学習のさせ方もかなり丁寧に共有してくれているので、今まで制作したエフェクトR&Dの動画などを学習させて色々検証してみようと思います！

[画像] Stability.ai - ControlNets for Stable Diffusion 3.5 Large

Stable Diffusion 3.5 LargeのControlNets系は揃いましたね。Flux.1 toolsの公開と被って埋もれてしまったの少し残念ですね。容量やライセンスも含めるとかなり使い易くなってきたので、SD3.5とFluxどちらで行くかを再検討したいと思います。

[動画] SAMURAI

Segment Anything Model 2の課題を改善したトラッキングフレームワークです。このトラッキング性能は凄いですね。映画"1917"のシーケンスが検証に最適過ぎてちょっと感動しました。

[画像] nVidia - Sana model release

遂に待望のSanaが公開されましたが、他にもアップデートや公開されたものが多すぎて全く追いつけません！

[動画] KLING AI - LEVELED UP

Kling AIは、モーションブラシなど全体的に必要な機能は全て揃っているのですが、生成速度がかなり遅かったので向上するのは助かりますね。

[動画] LTX-Video

突如オープンソースの動画生成モデルLTX-Videoが公開されました。モデルが9.5GB程度でこの精度は素晴らしいですね。生成速度も含めてかなり使い勝手が良いので、色々展開していきそうです。

[3D] nVidia - Edify 3D demo

先週紹介したnVidiaの3Dモデル生成Edify 3Dが触れるDemoが公開されていたので興味がありましたら是非。USDZでもダウンロードできるが素晴らしいです。

[ゲーム] The Matrix

リアルタイムでインタラクティブに生成するプロジェクトの中では一番凄い気がします。ネーミングも良いですね。

[動画] EchoMimic V2

表情だけでなく、上半身の身振り手振りも生成できるフレームワーク。これがオープンソースで使えるのが凄すぎますね。

[画像] Manga Editor

ローカル環境を活用した設計が素晴らしいです。

[画像] OminiControl

IC-LoRAやReduxなど選択肢がかなり増えた中で、精度だけではなく容量やスピードなども重要になってきてます。Ominiも精度は1024pxに対応したモデルが公開されたら検証してみたいですね。

[動画] GoEnhance AI - Video-to-Video V3

アニメ系のVideo to Videoの中では他のモデルよりは精度高いですね。

[画像] OneDiffusion

正直、モデルが多様化され過ぎていて、ストレージ的にもワークフロー的にも限界なので、このOneDiffusionの様にすべてを統合する思想は応援したいですね。

[画像] Tencent - Depth Crafter v1.0.1

Depth生成ではかなり使っているので、シンプルに精度が上がって早くなるのはありがちです。

[画像] Tencent - FitDiT

Tencentさんの最新のVirtual Try-onです。再現度とディティールが向上してますね。Codeが公開されたらすぐ検証したいと思います。

[画像] Qwen2vl-Flux

FluxにQwen2vlを追加したモデルです。現在自分のワークフロー内でやっているものをモデルに統一化されています。これで容量が削減されて精度がキープされるのであれば移行したいです。

[3DGS] Google - Quark

3DGS系は沢山見てきましたが、ぶっちぎりで凄いです。特に車の反射は引きました。

[動画] arcads.ai - generated street interview

あまり良い使われ方はしない気がしますが、興味深いアプローチですね。データセットも大量にあると思いますし、カメラも大きく動かないのでAI向きなコンテンツではあります。バキのインタビューの様な動画を作りまくるのは面白そうです。

[動画] AI Video Composer

動画、画像、音楽を入れるとまとめてくれるフレームワークです。これがどんどん精度が高くなっていた先の映像制作はどうなっているのか。

[記事] OpenAIの動画生成AI「Sora」へのアクセス方法がリークされる

Dall-Eの時から同じようなことが繰り返されていますね。

[記事] グーグルのAIがいきなり「死んでください」と言ってきたという報告

"インターネット"を学習していくと、AIはこの様な事になってしまうのでしょうか。"ハルシネーション"だったのかどうか。

[政府] NAFCA - パブリックコメント「「生成AIを巡る競争」に関する情報・意見」

”アニメ産業における不正行為の具体例” (2)は、色々なツッコミが入りそうですね。

[記事] 株式会社グリオグルーヴ、AI×CGの開発プロダクションを設立

昔一緒に働いたことがあるDanielさんがAI×CGの開発プロダクションを設立しました。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[ツール] OLM Open Tools

[BGM] フリーBGM協会が「フリーBGMデータベース」を業務利用者以外にも無償提供を開始

いいなと思ったら応援しよう！