映像から3Dシーンをリアルタイムに再構築「Gaussian-SLAM」他 / Catch up on AI 2023.12.18
Pick up
3D Gaussianでも驚きでしたが、Gaussian-SLAMは映像から、リアルタイムに3Dシーンを生成する技術。
学習なしで、映像のみで3Dシーンの構築は凄まじい進化。
Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting
Project：https://vladimiryugay.github.io/gaussian_slam/
Paper：https://ivi.fnwi.uva.nl/cv/paper/GaussianSLAM.pdf
Code：https://github.com/VladimirYugay/Gaussian-SLAM
【映像から3Dシーンを再構築】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
Gaussian-SLAMは、映像からリアルな3Dシーンを構築する技術。
映像を読み込ませると、映像を解析し、映像内の環境を3Dモデルで再現、現実世界をリアルタイムにレンダリングする。
3D Gaussianがさらなる進化。凄まじいレベル感に到達。
続く>>#生成AI #AI #3DGS pic.twitter.com/t6KHwzDSjS
Catch up on AI
生成AIを優遇する「イノベーションボックス税制」創設
【生成AIを優遇する「イノベーションボックス税制」創設】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
国も大きく動いている。
▼イノベーションボックス税制について
特許や著作権などの知的財産を活用して得た利益に対して低い税率（法人税）を適用。… pic.twitter.com/nSSiF1bTxv
ローカルで動作する生成AI着せ替えを実現
【ローカルで動作する生成AI着せ替えを実現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
着せ替えといえば「Outfit Anyone」が衝撃的でしたが、ComfyUIと、IPAdapter + LoRAで実現した着せ替え生成AI。
完璧では無いがかなり再現できている。ワークフロー公開して欲しい！
クリエイターは @ostrisai#生成AI #AI pic.twitter.com/RpYtnWiUlj
テキストだけで創られたクリスマスムービー
【テキストだけで創られたクリスマスムービー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
Genmo（ @genmoai ）でプロンプトとカメラ制御を組み合わせて創られたムービー。カメラワークがつくだけでも雰囲気がグッと出る。
プロンプトも公開されています！
続く>>#生成AI #AI動画pic.twitter.com/etLzefGf3l
video-to-videoで日常の映像から映画を創る
【日常の映像から映画を創る】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
Pika（ @pika_labs ）で実験されているvideo-to-video。現段階で言えば、かなり大雑把なものではあるものの、現実世界の映像は誰でも撮影できるもの。
AIの表現がさらに進化すれば、行動力やアイデアの時代になる。#生成AI #AI動画pic.twitter.com/c7f1dNaKRF
自分自身のクローンを生成するプロジェクト
【自分自身のクローンを生成する】@sairahul1 による、AIを利用して自分自身のクローンを作成し対話するプロジェクト。自分自身と話してみたいか？と言われるとそうでもないですが、究極に客観視できるいい機会ではある。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 18, 2023
こういう世界もすぐそこに！#生成AI #AIpic.twitter.com/ek6vIoD8kT
ローカルで実現！生成AIによる詳細に書き起こすアップスケーラー
【ローカルで実現！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 17, 2023
生成AIによる詳細に書き起こすアップスケーラー（拡大では無く詳細に書き直し）が人気ですが、ローカルの #ComfyUI で実現する方法が公開されている。
ローカルで色々と試せるのはとても嬉しい！すぐ試したい!!
チュートリアルは続きから>>#生成AIpic.twitter.com/0zK9mVENjk
生成AIで衣服と人体を適切に再現「SO-SMPL」
【生成AIで衣服と人体を適切に再現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 17, 2023
SO-SMPLは、テキストプロンプトから高品質な人と衣服のメッシュを生成できる生成AI。
生成結果はかなり自然で、激しい動きでもきちんと衣服の伸びだったり、揺れを捉えている。
続く>>#生成AI #AI #3DCGpic.twitter.com/Hv4PKstXVq
手書きのアートワークのようなAIアニメ
【手書きのアートワークのようなAIアニメ】#comfyUI と #hotshotxl を利用て生成されたAIアニメ。また日本のアニメ風とは違った魅力がある。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 17, 2023
背景は全く変化が無いのでInPaintも併用しているが、髪の部分からOpenPoseでは無い感じ。それにしても凄い！
続く>>#生成AIpic.twitter.com/Bzm9JLT3Ay