GPT-4o x Media2FaceでAIに表情をつける 他 / Catch up on AI 2024.5.17
Pick up
音声対話が高速になったGPT-4oを利用して、さらにそれにアバターをつけたデモ動画。ここにキャラクター性が加わればさらに拡がっていく可能性。
【GPT-4o x Media2Face】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 16, 2024
こうして顔がつくだけで、AIとの対話とても豊かになる。
日本だとここがキャラになったり、美少女になったり非常に多様なAIパートナーが生まれてくるはず。「ドラえもん」にギリギリ生きている間に会えるかもしれない期待がでてきた。#生成AI #AIpic.twitter.com/6ZxkwJ1iIA
Catch up on AI
複数の参照画像からポートレートを生成
【複数の参照画像からポートレートを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 16, 2024
Parts2Wholeは、顔、髪型、服装、ポーズなど複数の画像を複合的にリファレンスとして1枚の画像を生成できるフレームワーク。
これが手軽に使えるようになると、人物生成の商業利用は大きく広がりそう。
続く>>#生成AI #AI https://t.co/OxU7jGFx3j
Photoshopでリファレンスで着せ替え
【Photoshopでリファレンスで着せ替え】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 16, 2024
Reference Image機能を使った着せ替えのデモ。
生成AIを用いたバーチャルフィッティングは様々なフレームワークがありますが、Adobeで実行できるのはとても便利だしハードルが下がる。#生成AI #Adobepic.twitter.com/IxT51BEx28
手先が人間並みのヒューマノイド
【手先が人間並みのヒューマノイド】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
北京興東基源がリリースした「Xhand」。人間と同じように猫を優しくなでたり、ハサミを利用したり、様座な複雑な作業を実行可能。
動画は等倍で、柔軟性が非常に高いロボット。#ヒューマノイド #ロボットpic.twitter.com/5ZCWjRrmmS
画像1枚から1分以内に3DCGを生成 CAT3D
【画像1枚から1分以内に3DCGを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
CAT3Dは、Googleがリリースしたimg-to-3Dフレームワーク。かなり生成元の画像とイメージが近い3DCGが生成可能。
コードはまだ非公開ですが、期待の技術です。
続く>>#生成AI #3DCGpic.twitter.com/kVHAYZzGek
絵画やイラストから3Dシーンを生成Toon3
【絵画やイラストから3Dシーンを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
Toon3は1枚絵のイラストや漫画のシーンから不完全ながらも3Dシーンを生成できるフレームワーク。
現状の精度はまだまだではありますが将来的にアニメの世界が平面から生成できる世界がくるかもしれません。
続く>>#3DCG #AIpic.twitter.com/mmFnktwDXs
リアルタイムでノーマルマップを生成 DSINE
【リアルタイムでノーマルマップを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
DSINEは詳細なノーマルマップを抽出できるフレームワーク。以前からプロジェクトページ・論文は発表されていましたが、リアルタイムで実行できるコードがリリースされました。
続く>>#AI #ノーマルマップpic.twitter.com/SUNZ1LqQtr
SLAMから3DGS Gaussian Splatting SLAM
【SLAMから3DGS】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
Gaussian Splatting SLAMは、SLAN（Simultaneous Localization and Mapping）を利用して3Dガウス スプラッティングを生成できるフレームワーク。
RGB-D SLAMにも対応し、高速化バージョンがリリースされています。
続く>>#3DGS #3D #AIpic.twitter.com/3s3MGSUdbK
Stack Overflowに続いて、RedditとOpenAIが提携を発表
【Reddit x OpenAI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) May 17, 2024
Stack Overflowに続いて、RedditとOpenAIが提携を発表！
OpenAIはRedditのData API にアクセスし、Redditからリアルタイムで構造化された独自のコンテンツを取得、ChatGPTと製品に導入。様々な集合知がAIに組み込まれていく。#生成AI #ChatGPThttps://t.co/oPFP7tpa4I