見出し画像

Weekly Report 2023/11/22 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0110

2023/11/19の"しし座流星群"に合わせて制作しました。敵対的(GAN)に王の座に君臨したライオンが星座となり拡散(Diffusion)していく様子を描きました。他には、"#0110"にちなんで"百獣(110)の王"のライオン。"ジャングル大帝"連載開始が11月にもちなみ、白いライオンにしました。

[ニュース] AI関連

[企業] Sam Altman氏の動向

OpenAIのCEO解任されて、Microsoftに移籍し、またOpenAIに戻ったり。怒涛でしたね。ずっと追ってましたが、色々な憶測が飛び交って、SF作品を読んでいるような気分でした。この一連が、将来書き換えないといけない"シンギュラリティポイント"にならないことを切に願いします。

[動画] Runway Gen-2 - Motion Brush リリース

11/21にRunway Gen-2のモーションブラシ機能がリリースされました。

[動画] AnimateDiff - Motion Brush

ローカル環境でAnimate Diffを使いRunway Gen-2のモーションブラシ機能が再現できるようになったので、Gen-2課金は見送ろうと思います。

[動画] Stability AI - Stable Video Diffusion

Stability AIから動画モデルが発表されました！商用利用はまだできないそうですが、精度はrunwayやPikaより高いとの事なので早速色々テストしてみようと思います！

[動画] Meta - Emu video

Gen-2とはベクトルが異なる安定したアニメーションが出来るようになっていて衝撃でした。Metaは淡々と精度の高い研究をしていますね。VR/メタバースとまじりあう時がいつになるのか楽しみです。

[動画] Meta - Drivable 3D Gaussian Avatars

この技術と下記のnVidiaによるNeRFレンダリングの最適化が混ざったら・・・

[LMM] tldraw 活用 FPSゲーム制作

流石にこれは引きました・・・なんでこれでFPSが作れるのか・・・

[音楽] voice to music - musicfy

声や鼻歌など様々な音を変換してくれるAIサービスです。クオリティが高すぎたので、是非聴いて見て下さい。

[音楽] Google DeepMind - Lyria

Google DeepMindがyoutubeとのパートナーシップの元、開発している音楽生成モデルLyria。音楽の制作が変わるかもしれないですね。UIも使いやすそうです。

[3D] krea ai + EmberGen

EmberGenのviewportをリアルタイムで生成している様子です。自分も試してみましたが、3Dとして整合性は担保できないものの、ルックデブやシェーディングなどを色々試す分にはかなり便利です。あと、EmberGenでシミュレーションしながらだとVRAMがすぐ限界になるので、シミュと生成のGPUを分ける事必要があります。

[3D] LumaAI Gaussian Splatting + Unreal Engine

かなり分かり易いチュートリアルで、すぐ再現できました！今度、高尾山に行く予定なので、スキャンして再度試してみようと思います！

[3D] How to Produce Hyper-Realistic Humans with AI for VFX and Games

Autodeskのチャンネルで、EVR StudioのAIを活用したパイプラインの紹介をしていました。

[NeRF] nVidia - Adaptive Shells
for Efficient Neural Radiance Field Rendering

アニメーションも対応して、物理シミュレーションもでき、リライティング出来るので将来のCGレンダリングが移行していきそうですね。

[画像] The Chosen One: Consistent Characters in Text-to-Image Diffusion Models

LoRAではない一貫性のあるキャラクターの生成。

[画像] Stability AI - Japanese Stable Diffusion XL

日本語も扱えるとの事なので、色々試してみたいと思います！
あわよくば、Stability AIには完全CC0の基礎になるモデルを制作して欲しいですね。

[法律 / 倫理] 文化庁 - 文化審議会著作権分科会法制度小委員会（第4回）

資料1-1 AIと著作権に関する考え方について（骨子案）など、生成AIに関してどのような議論が行われているか参考になりました。

[資料] 【ソニー社内講演】拡散モデルと基盤モデル（2023年研究動向）

[資料] 教員の方が ChatGPT について最低限知っておきたいこと -2023年11月版-

素晴らしい資料でした。

[ニュース] リアルタイムエンジン関連

[3D] Unity - Unity Muse

UnityによるAI活用の紹介です。モーション周りはかなり良さそうですね。触ってみたいです。

この記事が気に入ったらサポートをしてみませんか？