見出し画像

形を察する力がスゴい！3D生成AI TRIPOが最新版で超進化

メイ博士のAIエンタメラボ

📢 生成AI TRIPOの立体力が爆強になってる！

☝以前こちらの記事でテストした、一枚の西洋風のお地蔵さん画像を3D化するのに使ったAI webサービス「TRIPO」が、バージョンアップしました

各所で評判が良さそうなので検証したところ
なかなかの進化っぷりでした！

TRIPOで画像→3Dオブジェクト生成

前回同様、入力画像はMidjourneyで生成した西洋風お地蔵さんです

こちらが3D生成AIサービス「TRIPO」

UIは特に変更はなく、生成エンジンが進化しています
ここから、3D化したい画像を入力します

地蔵を生成！

glb形式で出力して
three.JSのオンラインビューワーに表示

おおなるほど！
以前より立体感を感じられます
サイドから見ると平面的だったV1.0（左）から
Z軸の立体感が増しているのがわかります（右）

元画像ではでかいもみあげに隠れて確認できない「耳」を、わざわざ類推して適切にテクスチャで生成しているのがポイント高いですね
（本来はこのもみあげが耳なのですが、そこは元画像を作ったMidjourneyの責任です😆）

こうなってくると「手の形がしょぼいとか」「テクスチャに陰影をつけすぎでは？」と更に細かい部分が気になり出しますが
これはなかなかの進化と言えるのではないでしょうか！

もう一発追加、リアル系ロボキャラでテスト

オリジナルのロボットキャラ「Id（イド）」
オズの魔法使いのブリキとカカシをモチーフに制作

こちらが以前のImage to Video出力

CSMによる以前の出力

全くダメ、という事ではないですが
立体感とディティールがいまいちで、ペーパークラフト感が漂ってきます


こちらがTRIPO v2.0による出力

ロボとしての形状感が出てきました
サイドから見るとZ軸方向の造形がしっかりとなされているのが確認できます

生成AIは実は直線や真円などをキッチリ作るのが苦手なため、
機械系のオブジェクトを出力すると、
30年ぐらい前のガチャガチャフィギアのような、凹凸が不鮮明な有機的なモデリングになってしまう弱点があります

それでも、立体物としてのデザインセンスをかなり学習している雰囲気が伝わって来ます

となるとこちらのオリキャラも試さねば

ここ一年、画像からの3D化AI技術の進化の検証時に
何度もベンチマークとして使用してきたオリジナルキャラの「きらり」です

Dall-E、Midjourney、Fireflyなどを組み合わせて作成
Eテレ番組風のショート作品内に
実写風の人物（これもAI生成）と掛け合う
ナビゲーターCGキャラ役として登場

上の作品内では、いかにも3Dで作ったキャラっぽく演出してるのですが、実際には2Dの画像を動画AIとAfterEffectsを組み合わせて3D風に動かしています

このキャラをササっとAIで3D化して、作品内でフレキシブルに使用できるようになるのが、当ラボにおける生成AIコンテンツ探求のひとつの到達点と考えています

オリキャラ3D化の難しさ

このキャラは「ねんどろいど」x 「ブライス」のイメージを狙い、立体的でリアルな陰影がつくように制作しているので3Dとして解釈しやすいはず・・・なんですが、

  • 服や髪、アクセサリーなどディティールが細かすぎる

  • 浮遊しているポーズ、特に脚が解釈しにくい

  • 謎のアイテムを握っている

などがアダとなってか、AIによるImage to 3Dは惨敗してきました

紙粘土で作ったかのような、CSMによる微妙な造形


この「きらり」の静止画像をTRIPOのv 2.0に投入します
・・・さて結果は？


出力結果：
3Dデジタルフィギア
二歩手前ぐらいまで前進

服の胴回りの解釈が間違っていますが
造形レベルが格段に上がっている事がわかります

元画像において、浮遊を表現するために折れ曲がっている脚を、きちんと解釈してモデリングしているのが、立体類推力高すぎです！
テクスチャが破綻している部分がありますが、ここを塗り直せばそこそこの完成度になるでしょう

3Dなので動きます！

歩きます
走ります

TRIPOは人型であれば自動で簡易なリグを組み込めるため、このような単純なアニメーションが可能です
AI創作物とはいえ、オリキャラがサクっと動くというのは、なかなかに感慨深いものがあります！

じゃあイラスト系のオリキャラはどうなの？

こちらもオリジナルのキャラクター「アカデンワ」です
アニメ的にフラットカラーで着彩されているため、立体物としての情報（法線の方向）が乏しくAIにとってはかなり凹凸が判定しにくい画像です

また「赤電話」というのは日本独自の存在、かつネットが普及する頃には既に絶滅していたので、AIモデルにはほとんど学習されておらず、画像生成AIでもうまく生成できません

今まではこの形状をAIが立体物として的確に捉えるのが難しかったため…

…アクスタかな？

このように非常に残念な状況でした
3D形状を推量できず、もはや立体化をあきらめています
（舌がほんの少しだけ前に出ているのが努力の跡でしょうか）

しかし
TRIPO V2.0で出力すると・・・
これはスゴイ！

口のまわりが黒くなってしまっているのはテクスチャを修正すればなんとでもなるので、問題ありません

回すと形状推量力の高さがよくわかります

  • 舌が前に突き出ているという解釈

  • 口の中の空洞と歯の正確なモデリング

  • コードのループ形状をきちんと解釈して立体物として構成

高度な３D形状類推力に驚きです！

3D生成AIの進歩はネクストレベルへ

3Dの生成は難易度が高く、長らく実用レベルから程遠い状態が続いていましたが、このTRIPO新バージョンや、Open AIがテストしていると噂される「Strawb3rry（仮）」などの登場により、2025年にかけてネクストレベルの技術が出てきそうな予感がします

期待大ですね！


この記事が気に入ったらサポートをしてみませんか？