アップスケールからカラー化まで「PASD Magnify」他 / Catch up on AI 2024.1.6
Pick up
アップスケーラーからカラー化、スタイル変更まで様々な処理に対応できる画像処理AI「PASD Magnify」実写だけではなく、アニメのセルルックなどもキレイにアップスケールすることができました。
Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization
Paper：https://huggingface.co/papers/2308.14469
Demo：https://huggingface.co/spaces/fffiloni/PASD
Code：https://github.com/yangxy/PASD
ライセンスは以下となり、商用利用はできないのでご注意ください。
License：© Alibaba, 2023. For academic and non-commercial use only.
【アップスケールからカラー化まで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
PASD Magnifyは解像度が十分で無い写真をアップスケールしたり、スタイルを変更したり、モノクロの写真をカラー化を行えるAI画像処理技術。
リアル写真だけで無く、アニメのセルルックもキレイにアップスケールできました！
続く>> pic.twitter.com/Olm0zEyUP9
Catch up on AI
Midjourney v6 ALPHAが初のアップデート！
【速報】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
Midjourney v6 ALPHAが初のアップデート！
・1/2のGPUで2倍高速なアップスケーリング
・プロンプトにより正確に
・クオリティ、一貫性が向上
・テキストレンダリングの改善
・--stylize 値が高い場合のパフォーマンスの向上
確かに文字の正確性は上がった気がします。正式版が楽しみです！ pic.twitter.com/jKyOwlXaWP
ハンズフリー操作、口の中で操作する「MouthPad」
【ハンズフリー操作】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
MouthPadは、ハンズフリーでデバイスを制御できるスマートマウスウェア。
手を使ってデバイスを操作するというのは、昔から変わっていませんが、口の中にデバイスを入れて操作する新感覚な操作体験。
究極は脳波+AIだと思いますが、これは気になる。pic.twitter.com/zv3coAd4qZ
50万件を同時に送受信する電話対応AI「Bland Turbo」
【50万件を同時に送受信する電話対応AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
電話の応対をAIで行うサービスは国内でも存在しますが、Bland Turbo（ @usebland ）が凄まじい。
・最大50万件の電話を同時に送受信
・人間レベルのスピードで対応
・どんな声でも再現
・カスタイマイズ可能
テレマが変わる。pic.twitter.com/ZbpG6hKSW3
3D Loraに対応した生成モデル「Rodin Gen-1」
【3D Loraに対応した生成モデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
3D生成モデル Rodin Gen-1 は3D ControlNetと、 3D LoRAに対応。
Stable Diffusionの LoRA と同様に、最小限のデータのみを使用して、 Rodin Gen-1を利用して、特定のタイプ/スタイルの3DCGを生成可能。
これは実用化したら便利そう！！pic.twitter.com/WaNVRRgRbR
美しい中国の風景をAIで動画をSVD + Midjourney V6で
【美しい中国の風景をAIで動画に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
SVD（stable video diffusion）と、Midjourney V6 を使って生成した動画をTopzaを利用してフレーム補間して生成された動画。
複雑な動きはまだまだ向いていませんが、こうした風景メインの動画は目を見張るものがある。
#生成AI #AI pic.twitter.com/Rv9Bm4rh8Y
3Dシーンをプロンプトで制御「SIGNeRF」
【3Dシーンをプロンプトで制御】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 6, 2024
SIGNeRFは、3Dシーンに設置したオブジェクトを自由にプロンプトで編集できる技術。 オブジェクトを追加したり、3Dシーンの一部だけを変更が可能に！
動画は、石像のクマを、リアルクマ→シロクマ→パンダへ変更しているシーンをつなげたデモ。
続く>> pic.twitter.com/XDiAH5c4M2
AI生成の著作物認定 世界で2番目の事例が韓国で
【AI生成の著作物認定 世界で2番目の事例】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 5, 2024
韓国で、生成AIで全面的に制作された映画に「著作権認定」。多くの部分に人間の創作的寄与と努力があったということから著作物として登録されたとのこと。… https://t.co/mEhOBRrp05
AIで制作された6分の長編アニメ「THE LOST FATHER」
【AIで制作された6分の長編アニメ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 5, 2024
THE LOST FATHERは、Gen2（ @runwayml ）やElevenLabs（ @elevenlabsio ）などを駆使して制作された長編アニメーション。
AIを触っている身からすると、現段階でこれがどれだけ大変な作業か分かる。pic.twitter.com/FND0cyAD7X
AIロボ「Mobile ALOHA」のNGカット集
【AIロボのNGカット集】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 5, 2024
世界中で話題になったオープンソースの日常生活をサポートしてくれるAIロボ「Mobile ALOHA」
洗濯、充電、掃除など、あらゆるシーンで手助けしてくれ凄い！となったのですが、NGカットも公開!!
完璧では無いのが、逆に可愛くて愛着が湧く。
続く>>pic.twitter.com/YXTfBIZILR