Weekly Report 2023/12/20 (wed)
個人的に気になったニュースや自主制作などの週報メモです。
自主制作 / 記事
Elemental Anima #0114
Elemental Anima #0114
— takio koizumi | takion.eth (@takion0105) December 17, 2023
Created by :
takio koizumi (Human) x HAL (AI)
🔽Detail / Link pic.twitter.com/H2RwTI9J9I
今作で、梟羊(きょうよう)三部作が完結しました。現在の企業やSF作品、時勢をモチーフを入れ込みつつ、多次元的に解釈できるよう制作しました。ヒトとAIは、どんな選択をしていくのか。Elemental Animaを通して、観測し続けていきます。
[ニュース] AI関連
[3D] Stability AI - Stable Zero123
遂にStability AIからもImage to 3Dのモデルが出ました！ローカル環境で精度の高い3D生成が出来るモデルは少なかったのでありがたいですね！商用利用はできませんが、もうすでにComfyUIのワークフローで実装している事例も出てきているので、SVD同様にこちらも色々と検証していきたいと思います。
[企業] Stability AI - メンバーシップ
今までのLLMやSDXLなど商用利用可能だった所、SVDが非商用になってた事から薄々こうなる気配は感じてました。オープンソースにしすぎる事でのマネタイズの難しさも重々承知だったのでこの判断は納得です。とりあえず、Professionalのメンバーシップになったので、あわよくばStableAudioのモデルも公開して頂けるとありがたいです。
[画像] Alibaba - Outfit Anyone
AlibabaがAIによる着せ替えが出来るプロジェクトを発表していました。ファッション業界にはインパクトがありそうでうすね。更にAnimate Anyoneのデモも入れてあるのがさすがです。ワンピースを使用するのはもやりますが・・・。Alibabaがここ最近のAIニュースで話題になりやすいのは、精度と使用例の想像がしやすいのも理由だと思っています。こちらは、もうHuggingfaceでデモが触れます。
[動画] Alibaba - I2VGen-XL
Alibabaラッシュが止まりませんね・・・コードとモデルは公開されているので、SVDとどのような精度の違いが出るか検証してみようと思います。
[画像] KREA AI - Open Beta
announcing the start of our Open Beta.
— KREA AI (@krea_ai) December 13, 2023
free for everyone. pic.twitter.com/gMmZrpczb6
KREA AIがオープンベータになりました。リアルタイム生成、高精度のアップスケールなど今なら無料で手軽に生成できるので興味がありましたら是非。殺到し過ぎてかなり重かったり、メンテナンスが頻繁に行われています。
[モーション] WHAM:Reconstructing World-grounded Humans with Accurate 3D Motion
先週共有したSMPLer-Xに続き、モーション系も活発になってきましたね。これがローカルで使えるようになったら嬉しいですね。そのために、自分でモーション素材の撮影をして準備しておこうと思います。
[動画] GMTalker: Gaussian Mixture based Emotional talking video Portraits
感情を込めた表情が良くなってきてますね。SadTalkerをよく使っていますが、これが公開されたらGMTalkerに切り替えます。
[3D] BlockadeLabs - World Mesh Alpha v2
Introducing our EPIC release for our World Mesh Alpha v2!
— Blockade Labs (@BlockadeLabs) December 14, 2023
360° seamless meshes
Vastly improved depth and detail. Epic mesh export for 300% more poly detail. Upgrade your 3D game now! Exclusive alpha preview for Technowizard subscribers. #blockadelabs #skyboxai pic.twitter.com/EKv7zNt8qE
360度シームレスの画像をAIで生成しつつ、奥行きとメッシュ化してGLBで出力まで出来るようになりました。
[3D] Generative Proxemics: A Prior for 3D Social Interaction from Images
画像内の人物の3Dモデル化。見えていない部分の腕や手なども高精度に再現で来てて驚きました。
[政治 / 法] AIの安全性確保と活用促進に関する緊急提言
EU、アメリカも規制について動き出したので、日本がAIについてどんなルールを作っていくのか動向を追っていきます。
[AI活用] アニメ『BEYBLADE X』マルチ リリックVIDEO
MAPPA「チェンソーマン」、WIT STUDIO ｢犬と少年｣に続きアニメでの活用も増えてきましたね。スタッフロールを見るとAiHUBがAI周りの制作をしているそうですが、こういうスタッフロールも当たり前になる時がくるのでしょうか。
[政治 / 法] 自民党 - イノベーションボックス税制
"特許権や人工知能(AI)分野の著作権で得た所得に対して30パーセントの所得控除を認める「イノベーションボックス税制」も創設"。
[画像] ComfyUI - Upscaling Tutorial
精度の高いアップスケールが求められる場も多いので、このチュートリアルはありがたいです。ワークフローを再現してみようと思います。
[動画] VideoLCM
new fast text to video framework
— AK (@_akhaliq) December 16, 2023
videolcm, text to video generation with only 4 sampling steps
paper page: https://t.co/k69jD0joY1 pic.twitter.com/KJJHsHMWT0
4ステップで高速に精度の高い画像が生成出来るようになったばかりなのに、次は4ステップで"動画"も生成出来るようになるとの事。
[動画] AnimateDiff v3
v3により一貫性が向上した上で、SparseCtrlでDepthを活用し指定した動きを制御できるように。試したいことが多すぎる・・・
[3D] CSM - Real-time sketch generation to 3D
Real-time sketch generation to 3D game-engine ready assets is here, for free - https://t.co/hYiBEpyS4X
— Common Sense Machines (@CSM_ai) December 14, 2023
Drawing plays a fundamental role in both children's play and professional 3D creative work. Cube enables users to quickly doodle, draw on top of existing sketches/images, or… pic.twitter.com/vy7YNJareA
Krea AIと同じようなリアルタイム生成をしつつ、3Dモデルの生成も出来るのは凄いですね。