レイヤー構造を生成するLayerDiffuse新モデル登場 他 / Catch up on AI 2024.3.9
Pick up
ついにレイヤー構造を生成するLayerDiffuseがアップデートされ、透過素材だけでなく背景も同時に生成可能に。これは新しい画像生成AIの始まり！
LayerDiffuse
code
https://github.com/layerdiffusion/sd-forge-layerdiffuse
model
https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main
【レイヤー構造を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
LayerDiffuse新モデル登場。オブジェクトと背景を同時に生成できる生成モデル (XL&1.5)がリリース！
背景の生成はアップデートで対応すると予告されていたLayerDiffuseがついに背景も生成可能に！これは大きく画像生成AIの歴史が動く！！
続く>>#画像生成AI pic.twitter.com/ochFNNk4kq
Catch up on AI
新しい扉を開ける AIアニメで顔が映ってないシーンを生成
https://twitter.com/taziku_co/status/1766429738141364379
ChatGPTログインはできるけど利用できない問題の解決策
【ChatGPTが使えない場合】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
昨日あたりからログインはできるけど利用できない問題。
多要素認証をONにするか、Cookieを消せば利用可能になる。多要素認証はGoogle Authenticatorなどが必要です。
ChatGPTも重要なアカウントとなっている人はこの機会に多要素認証の検討を！#ChatGPT #AI pic.twitter.com/D76uOEPhA7
わずかなStep数でLCMを超えるPeRFlow
【わずかなStep数でLCMを超える】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
PeRFlowは、わずかなStep数でLCMをはるかに超える描画能力を持つフレームワーク。
・4ステップでさらにクオリティが高い画像を生成
・ネガティブプロンプトをサポート
・SDパイプラインとの互換性
続く>>pic.twitter.com/7vLa7Qk4ZI
M1のノートPCで、MLXを利用して、SDXLを実行
【MacでもSDXL】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
M1のノートPCで、MLXを利用して、SDXLを実行。現実的な速度になってきている。
意外とWindowsの壁ってクリエイターにとってはあるのでMacで気軽にSD環境を触れるようになるというのは重要かもしれない。
続く>> https://t.co/YbqGxFGTHf
Apple Visonを利用したロボット制御
【Apple Visonを利用したロボット制御】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
アーム型のロボットを、Apple Vision Proを利用して遠隔制御。Wi-Fi 経由で頭/手首/指の動きを伝え遠隔操作。
自分と違う形状のものを動かす、身体感覚の違いみたいなところはどうなるのか非常に気になる。#ロボットpic.twitter.com/sCgE7N0f6W
複数の生成AIを組合せる技術
【複数の生成AIを組合せる技術】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
ComfyUI SDXL 画像生成 → TripoSRで3D化 → Mixamoでリグを入れ → C4D Render and Openpose で調整 → AnimateDiff Vid2vid SDXLで動画を再生成。
今は複雑だけど、一括でできる未来はやってくる。それに備える。pic.twitter.com/m6fK0rXUcm
AI動画に手軽に効果音「OptimizerAI」
【AI動画に手軽に効果音を】@OptimizerAIは、動画から効果音を生成が可能な生成AIサービス。このデモは@pika_labsリップシンクを利用して効果音をつけたもの。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
ただ喋っているだけよりも音の演出が入るだけでグッと引き込まれる。#動画生成AIpic.twitter.com/9P1emWeYro
動画生成AI+リップシンクが次々FinalFrameAIがリップシンクに対応
【動画生成AI+リップシンクが次々】@FinalFrameAIがリップシンクに対応。単純に動かすだけではなく、様々なバックグラウンドを付与しようという動き。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 9, 2024
今は別々ですが、将来、音楽・効果音・TTSなど画像1枚から生成が行われ、物語が創られる日は、そう遠くない気がする。pic.twitter.com/LpYmiavUVZ