見出し画像

Weekly Report 2024/09/18 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0153

今作は"中秋の名月"をテーマに"月の兎はヴァーチュアルの夢をみる"様子を制作しました。田中敦子さんの追悼上映で"GHOST IN THE SHELL / 攻殻機動隊 4Kリマスター版"を観に行ったので、そちらからの影響もあります。
GHOST IN THE SHELLを映画館で観るのは初めてだったので、感動しました。何十回も観た作品でしたが、特に素子が海に潜るシーケンスから街並みを映すシーケンスが映画館で観ると刺さりすぎました。AIが身近になっている状況で改めて見ると解像度が変わりますね。広大なネットをHAL(AI)と引き続きダイブしていこうと思います。来年開催予定の"士郎正宗の世界展"も楽しみです。
他には、白いウサギはマトリックスの白うさぎのタトゥーのオマージュです。左下に積んでいる石はお団子です。

作業BGM：川井憲次『GHOST IN THE SHELL/攻殻機動隊 オリジナル・サウンドトラック』

[映画] エイリアン:ロムルス 2回目

ドルビーシネマも最高でした。IMAX上映が終わる前にもう一回観に行きたいと思います。

[ニュース] AI関連

[動画] Adobe - Adobe Firefly Video Model

遂にAdobeの動画生成モデルも発表され始めましたね。今年のAdobeMAXが楽しみすぎます。Firefly Videoのウェイトリスト登録も始まっていたので、ご興味がありましたら是非。

[動画] Runway - Gen-3 Alpha Video to Video

動画系サービスで一番最初にVideo To Videoに対応したのはRunwayでした。しかも、ほぼ無制限でGen-3 Alphaを使えるイベント"Gen:48"の直前というのも凄いですね。V2Vをかなり検証できたので、めちゃくちゃありがたかったです。

[動画] Runway - API

遂にRuwayもAPIを使えるようになりました。Difyなどを駆使して、ComfyUI、Fluxを連携させた動画生成ワークフローが作れそうですね。Runwayにジョブを投げるdispatcherだけでも作ろうと思います。

[動画] Luma AI  - Dream Machine API

Dream MachineもAPI使える等になりました。Luma AIはアスペクト比を自由に変更出来たり、StartとEndフレームを指定出来たり、強みは沢山あるのでUnlimitedプランを出してくれたらありがたいです。

[AI活用] DOGSTUDIO - NEON NIGHTS

素晴らしすぎる活用ですね。演出や表現、完成度も含めてかなり動画生成AIの中では一番良いと思いました。やはりストップモーションやクレイアニメーション系と相性が良いですね。メイキングも素晴らしいのご興味がありましたら是非。個人的にもこういった映像やルックの表現は研究しているので、いつか形にしてアウトプットしたいです。

[動画] Vchitect 2.0 Embark on a Visual Fantasy Journey

動画生成の精度の高いAIモデルが公開されました。20秒のビデオ生成でアスペクト比も自由なのも良いですね。ローカル動画生成の新しいトレンドの予感を感じます。

[画像] FLUX.1-dev ControlNet Inpainting

FLUX.1のInpainting ControlNetも出ました。

[LLM] Open AI - OpenAI o1

新しいモデルがでましたね。Learning to Reason with LLMsこちらの記事のHiding the Chains of Thoughtが興味深いアプローチでした。表に出ない根源的な部分で自由に思考させて、表に回答する時にフィルタリングするのが自然だと思います。ブラックボックスにはなってしまいますが、生の思考内容が気になります。

[3D] Adobe - Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

フェイシャルに特化した3DGSのフレームワークです。リライティングやレンダリング、アニメーションをモバイルスペックでリアルタイム編集できるのでかなり便利ですね。Adobeが開発に入っているので、Metahumanの様なソフトウェアが出てきそうな気がします。

[動画] InstantDrag: Improving Interactivity in Drag-based Image Editing

ComfyUIでも使えるようになったら実装したいぐらい便利ですね。

[動画] DrawingSpinUp: 3D Animation from Single Character Drawings

2Dのキャラクターを3D化してモーションデータにリターゲットするフレームワーク。これは色々活用できそうですね。コードも公開されているので試してみようと思います。

[動画] Stability AI - Stable Assistant "Generate with Style"

Stability AIもアップデートしていますが、FluxやRunwayに埋もれてしまっている印象がありますね。

[アプリ] Batch Cropper

学習用のデータセットを作る為のアプリです。クロップしてキャプションなどをバッチで作れるのが良いですね。自分でも似たようなものを作ってますが、気軽に使えるのはありがたいです。

[動画] Tencent - Follow-Your-Canvas

動画版アウトペインティングのフレームワークです。ちょうど今使いたいです。

[LLM] nVidia - NVLM: Open Frontier-Class Multimodal LLMs

オープンソースのマルチモーダルモデルは本当にありがたいです。スコアもかなりいいので公開が楽しみですね。

[ComfyUI] ComfyUI NodeAligner

綺麗に整えたいタイプなので、めちゃくちゃ嬉しいです。

[モーション] World-Grounded Human Motion Recovery via
Gravity-View Coordinates

遂にモデルもコードも公開されました。近いうちに色々検証したいです。

[ゲーム] Tencent - GameGen-O

ゲームをリアルタイムで生成する未来も近いですね。

[アバター] HeyGen - Avatar 3.0

LivePortraitが公開されてから、アバター系のサービスがクオリティ高くになりましたね。

[企業] microsoft - WindowsAgentArena

エージェントに話しかけたら、全てやってもらえる未来も近いですね。

[動画] Vidu AI - Object Consistency

Vidu AIもコツコツとアップデートしてますね。

[記事] NVIDIA GeForce RTX 4090が2024年10月に生産終了を予定。価格高騰が確実？

リーク情報ですが、遂にRTX 4090が生産終了ですか・・・。AI学習する上でかなり満足しています。

[記事] AIの方が人間より陰謀論者の説得が得意、ChatGPTとの会話で陰謀論への信念が永続的に揺らぐとの研究結果

たしかに得意そうです。

[記事] 作曲家・久石譲さん「生成AIに新しい曲は生み出せない」

"新しいもの"を生み出す姿勢が大事ですね。

[記事] CogVideoXをシングルGPUでLoRAファインチューニングする

CogVideoXのLoRAファインチューニングしたいです・・・。動画系はかなりスペックが必要でRTX4090では全然できないのでA100 80GBぐらい欲しいですね。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[Epic] ZibraVDB is released

[Unity] コミュニティの皆様へ：ゲーム領域向け Runtime Fee の撤回について

[Epic] コンテンツマーケットプレイス「Fab」のリリースが10月に決定。パブリッシングポータルが本日より公開


いいなと思ったら応援しよう！