AIアップスケーラーの新たな選択肢 Clarity-Upscaler 他 / Catch up on AI 2024.3.16
Pick up
AIアップスケーラーは有料で展開されることが多いですが、Clarity-Upscalerはオープンソースで公開されたAIアップスケーラー。
クオリティも有料サービスと遜色なく、細かいパラメーターなども設定可能です。
Clarity-Upscaler
Project: https://clarityai.cc
Code: https://github.com/philz1337x/clarity-upscaler
Demo: https://replicate.com/philipp1337x/clarity-upscaler
【AIアップスケーラーの新たな選択肢】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
Clarity-Upscalerはオープンソースで公開されたAIアップスケーラー。デモを見る限り、現在有料で展開されているサービスと比べても遜色ないクオリティ。
プロンプトや各種パラメーターも細く設定可能。
続く>>#生成AI #AIpic.twitter.com/mGDNaahHcd
Catch up on AI
新しいアニメ背景ワークフロー
【新しいアニメ背景ワークフロー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
風景をMidjourneyで生成、それをMagnificのスタイルトランスファーでアニメ風に再生成。
実写の写真をとばかり考えていましたが、そこに迫るクオリティで自由に生成ができるなら、連結すれば、わりと現実的なワークフローになる。#AIpic.twitter.com/uxAyMzgYON
ピックアップし配布するロボReflex
【ピックアップし配布するロボ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
ヒューマノイドロボReflexがユーザーからのリクエストに応じて棚からアイテムを取るデモが話題。
動画は効率向上とコスト削減を実現する機器やテクノロジーソリューションが集まるMODEX2024でのデモ。1000件もの依頼に対応。#ロボット #AIpic.twitter.com/jBvwjS8ccr
ゆるキャラの一貫性 Midjourneyの--crefを利用した実験
【ゆるキャラの一貫性】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
Midjourneyの--crefを利用した実験。イラストレーターさんに許可を取り、ゆるキャラは一貫性を持って生成できるのかをテスト。
リファレンスが沢山のうさぎと認識されてしまった。もう少しリファレンスに工夫が必要。
Illustrator：@kanbe_yuka#画像生成AI #AIイラスト pic.twitter.com/qX8NWNcUgm
時間情報をもった3Dシーンをブラウザで splaTVは
【時間情報をもった3Dシーンをブラウザで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
splaTVは、時空ガウスを使用した動的なガウス スプラッティングをブラウザベースで表示できる。
3Dシーンに時間軸を持たせ自由視点で閲覧することが可能。オープンソース/MIT Licenseでの公開されています。
続く>>#3DCG #AIpic.twitter.com/fhNuG3RVCl
一貫性の高い3Dキャラクターの基本アセットを生成
【一貫性の高い3Dキャラクターを生成】@CSM_ai が、テキストから3Dキャラクターの基本アセットを生成できるStyle-consistent 3D characterを発表。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
動画生成AIも飛躍的に伸びているが、3DCG生成AIも今年は注目したい！#生成AI #3DCGpic.twitter.com/AXueRRA6Se
現実世界で物体や空間情報を理解3D-VLA
【現実世界で物体や空間情報を理解】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 16, 2024
3D-VLAは、3Dベースの大規模言語モデル(LLM)を利用して、2次元の画像や言葉から物体を認識したり、行動を予測したりすることができる新しい視覚言語行動(VLA)モデル。
言葉で指示し、現実で行動ができるロボットが現実的になってくる。
続く>>#LLM #VLA #AI pic.twitter.com/q6wZkGQczF
テキストから360度の3Dシーンを生成
【テキストから360度の3Dシーンを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 15, 2024
テキストからVRシーンを生成する研究。テキストから生成された3DはGaussianSplattingで生成。見事に建物が再現され生成されている。これは大きく可能性がある技術。
researcher：@WayneINRpic.twitter.com/KLoYkXN7pV
Runway-Gen2も、ついにリップシンク機能が搭載
【Runwayにもリップシンク】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 15, 2024
動画生成AIでは生成した人物を喋らせることができる、リップシンクが話題ですが、Runway-Gen2も、ついにリップシンク機能が搭載。
3Dアニメでもかなり精度を発揮するみたい！#動画生成AI #AI https://t.co/vRwVaLSPXm