見出し画像

Weekly Report 2024/10/09 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0156

今作で江の島シリーズ最後の作品になります。江の島には至る所に龍が居ました。"江島縁起"に描かれた"天女と五頭龍"という物語がルーツとの事。今作は、藤沢市龍口山から江島明神として奉られている弁財天を見守っている五頭龍の石像をモチーフにしました。5つの頭をある程度の整合性を意識して表現するのはかなり難しかったです。
自分は辰年なので今年中に江島神社でお参りが出来てよかったです。旅行した際に印象に残ったものや疑問に思った事を調べて、想い出と共に作品にする事でしっかり記憶されて良いですね。色々な所に旅行したいです。

作業BGM：谷山浩子『タニヤマヒロコノピアノアルバム』

[データセット] 江島神社 / 江の島岩屋 / 龍

[お知らせ] 第50回 自由が丘女神まつり 秋のマリクレール祭り2024 アートマルシェ

今週末に自由が丘で開催する女神まつりの中のアートマルシェで出展いたします！アートマルシェイベントポスターも制作させていただきました！ご興味がりましたら是非お越しくださいませ！

[お知らせ] CGWORLD vol.315 (2024年11月号)

10月10日(木)発売の”CGWORLD vol.315”にデジタルハリウッド大学の卒業生として、自分のインタビュー記事が掲載していただきました！ずっと購読していた雑誌にインタビューと共にElemental Animaが掲載されるのも感慨深いです！ご興味がありましたら是非購読して下さいませ！

[ニュース] AI関連

[動画] Meta - Movie Gen

遂にMetaの動画生成AIが発表されました。他の動画生成AIサービスとは違うアプローチとしては動画から効果音やBGMも生成できる点とパーソナライズですね。しっかりとPaperも公開している点も素晴らしいです。データセットに関しては、"ライセンスされたデータセットや公開されているデータセットを組み合わせてモデルを学習させた"との事です。そして、"StreamDiffusion"を開発した日本のエンジニアであるAkiさんもプロジェクトに参加されているそうです。どういった形での公開になるのか楽しみです。

[企業] Adobe - Adobe Max 2024 10/14-16

来週はAdobe MAXが開催されます。ここでの発表内容によって、生成AI関連の情勢がかなり変わってくるような気がしています。Fireflyの動画生成のBetaが公開されたら嬉しいですね。個人的にはこの動画生成AIのセッション"Creativity Super Session: Video and AI"が楽しみです。昨年のAdobe MAXでの生成AI関連の発表がどれだけ実現できたかによって、株価への影響もあると思うのでAdobeは正念場だと思います。

[動画] Runway - Foundations for Safe Generative Media

Runwayの次のアプローチとしては安全性に対してのポリシーの発信です。C2PAも採用していたり、バイアスコントロールなど、"生成時と生成後のルール"に対しての発信は素晴らしいと思います。ですが、生成前のデータセットやモデルデータに対しては殆ど触れていない事が気になってしまいますね。

[動画] Runway - Gen-3 Alpha Turbo Image to Video

Gen-3 Alpha Turboでも最初と最後のフレームの指定が出来るようになり、縦のアスペクト比にも対応しました。

[動画] Hailuo AI - Image to Video

Hailuoという動画生成AIでもImage to Videoに対応しました。現在無料で生成できるのでご興味がありましたら是非。

[画像] Black Forest Labs - FLUX1.1 [pro]

FLUX1.1 [pro]がAPIでの利用のみで公開されました。[dev]を活用してますが、生成速度が遅いのがかなりネックだったので早くなるのはシンプルにありがたいですね。あわよくば、FLUX1.1 [dev]もモデルも含めて公開して頂けるとありがたいですが、StabilityAIの反省を踏まえたマネタイズもうまくやってる感じはします。年内に動画生成AIを出すのか気になるところですね。

[動画] HeyGen - Avatar 3.0 with Unlimited Looks

アバター関係はHeyGenがトップクラスですね。Unlimited Looksでカメラアングルや衣装・ポーズまで変えられるようになりました。もうここまで来るとAIアバターなのか分からないです・・・。

[画像] Apple - Depth Pro

Appleから高速で精度の高いDepth生成が出来るモデルが公開されました。実写系にかなり強いですね。早速ComfyUIのカスタムノードも出ていたので、Depth関連はこっちに移行しようと思います。

[声] 青二プロダクションとCoeFontがパートナーシップを締結

これは興味深いアプローチですね！ナビゲーション音声などの演技を必要としない分野での提供というルールも良いです。社会や業界の反応も含めてどんな展開になっていくのか楽しみです。

[画像] Stability AI - quintuples the API costs for SDXL and SD 1.6

SDXLとSD1.6のAPIコストを5倍に変更は凄いですね。Black Forest Labsも出てきてしまったので、Stability AIは色々厳しそうですね。キャメロンも参加したので、大きく変化する為の準備中だと思いますが、もう少し早めにアナウンスは欲しいですね。

[動画] Hotshot - Personalized Video Gens

Hotshotという動画生成AIサービスではパーソナライズした動画生成が出来るようになりました。

[動画] Inverse Painting: Reconstructing The Painting Process

Paint Transformerをよく使っていたので嬉しいですね。タイムラプスではあるので物議は醸しそうですが・・・。色々な表現に活用できそうです。

[AI活用] Filming a sketch + Runway's video-to-video

この発想は面白いですね。

[画像] Posterior-Mean Rectified Flow - Demo公開

ボケた画像や解像度の低い画像を修復するフレームワークです。過去に紹介しましたが、今回huggingfaceのデモが公開されました。LivePortraitで表情をコントロールする際に、トリミングして解像度を上げ際に活用しています。

[画像] blinkshot

ブラウザ上でログインもなく、無料でFluxがリアルタイム生成できます。一定量生成すると24時間使えなくなりますが、すぐ簡易的にプロンプトを試したい場合は便利です。

[動画] kijai - CogVideoX-Fun

ComfyUIのカスタムノードで、いつもお世話になりまくってるkijaiさんがCogVideoXのコントロールをWipを挙げていました。これが公開されたらCogVideoXを本格的に検証したいと思います。

[3D] nVidia - EdgeRunner

画像やポイントクラウドから自己回帰型で3Dメッシュを生成。4000faceまでですが、見た感じ精度がかなり高いですね。

[ComfyUI] camenduru - Depth Pro with Depth Flow

Depthを活用したカメラコントロールワークフローです。過去にかなり活用していました。ComfyUIで再現できるのは嬉しいですね。試してみようと思います。

[動画] FacePoke

LivePortraitを活用したリアルタイムデモです。hugging faceのデモがあり画像を入れるとすぐ使えるのでご興味がありましたら是非。

[論文] Awesome Anime Research

AnimeやComic関連の論文がまとまっています。カテゴリー分けもされていてとてもアクセスしやすいので助かります。

[マンガ] 松山せいじ - エイケン リメイク版

作者自身が過去の漫画を生成AIでリメイクするというのは興味深いアプローチですね。LoRAの制作などどこまで踏み込んでいるかはわかりませんが、活用し続けた先に、表現や画風、ワークフローがどの様に落ち着くのか楽しみです。

[LLM] Google - 日本語版 Gemma 2 2B を公開

ちょうどComfyUIで日本語プロンプトからの生成ワークフローを組む必要が出ててきたので、こちらを活用してみようと思います。

[記事] もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕

自分もなんとなくそんな気がしています。家にある大量のGPUを分散で活用したいです。

[記事] ｢AI俳優｣の起用に制限 ハリウッド組合が守った人の価値

柿沼さんが見解についても話されていました。つい最近だと"エイリアン：ロムルス"でも”AB1836”に関連する表現がありました。今作での活用は個人的にはかなりポジティブに受け入れられました。CGでの再現とAIでの再現。色々な議論に発展していきそうです。

[記事] OpenAIの「Sora」の共同リーダーがGoogle DeepMind入り

次々とOpenAIから抜けていきますね・・・

[記事] 2024年のノーベル物理学賞は“AIの父”、ジェフリー・ヒントンなどが受賞

ノーベル物理学賞の受賞は凄いですね。受賞おめでとうございます。

[記事] 桂文枝、生成AIと共作で“創作落語”　手応え十分「落語というのは“心”です」

面白い試みですね。桂文枝さんのコメントもポジティブ良いです。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[Epic] Vertex Animation in UE5 but Easy

[Epic] MegaLights Demo | Unreal Fest Seattle 2024

いいなと思ったら応援しよう！