一枚の画像から多角視点の複数の高解像度の画像を生成する「Era3D」を試してみる
今回試してみる「Era3D」は一枚の画像から多角視点の複数の高解像度の画像を生成してくれます。
同時にノーマルマップも合わせて生成してくれるという優れもの。
いままで一枚の画像から3Dデータを生成するというものはいくつかありました。こちらは画像の出力です。どんなものか気になりますね！
Era3Dの特徴
Era3Dは、単一画像から高解像度のマルチビュー画像を生成する新しい手法とのこと。調べてみると特に以下の2つの技術革新がありました。
カメラ予測モジュール：ディフュージョンベースのアプローチを用いて、焦点距離と仰角を正確に推定し形状の歪みを防ぐ。これにより自然な視点変換が可能になっている。
行単位の注意層：計算の複雑さを低減し効率的に画像を処理。このアプローチにより、512×512の高解像度画像を生成し既存の方法に比べて12倍の効率性を実現。
なにやらすごそうですね…。
しかし百聞は一見にしかず。この目で確認してみましょう！
🌐プロジェクトページ類
早速いじってみる
まずはこちらのねこちゃんで試してみたいと思います🐈
そしてできあがった多角視点と、ノーマル（法線）マップ。
細かいモデルをノーマルとして書き出すことによって、効率よくUnityやUnreal Engineでレンダリングする事ができます！
他にも試してみます！
お次はもうちょっと複雑な画像を用意しました。
この羽が生えたライオンです！
羽が別れちゃったりしちゃったものの、だいぶ精度よいなと感じました！
お次はこの丸の集合体。流石に意地悪かな〜と思ったら…
意外と頑張ってます。破綻せず横も真後ろもできている。すごい！
３Dも精度がここまで良くなってくると本当に侮れないですね。
あっというまにすごい3D変換AIが普通な世の中になっていうんだろうなあ。
今日はここまで〜！