InstantMeshを使ってみた話

はじめに

AI画像生成界隈では、日々さまざまな技術が発表されています。この記事ではその中のひとつの InstantMesh というものを試してみます。

公式レポジトリはこちら

どのようなものかというと、一枚の画像から3Dオブジェクトを生成するソフトウェアです。

Instant Mesh 付属のサンプル画像でテスト

導入方法

README に導入方法が紹介されています。Anaconda + pip 方式です。本当は下記方法をマスターしたら簡単ですよ、と言いたかったのですが、Windows では失敗するようです。。。文字コードの問題か、パッケージ依存関係の問題かは特定できませんでした。

【更新】instantMesh リポジトリが更新されて、Windows でも利用可能になりました。

仕方がないので、WSL（Windows Subsystem for Linux）で再導入です。導入方法は Windows Linux 共に全く同じです。Anaconda で仮想環境を作り、pip で各モジュールを導入します。

※ 768x768 の画像でテストしましたが、RTX 3060 (12G) でも GPU メモリはかなりオーバーして利用していました。RTX でも 8G では動作が難しいかもしれません。

※ WSLとは Microsoft が公式開発している Windows 上で Linux を動かす技術です。WSL2 になってからはただのエミュレータなのですが、GPU 資源をネイティブに近い形で利用できます。筆者の使用経験だと８割程度の速度です。他のデメリットは、エミュレータなので、システムが利用できる最大のメモリが半分になります。 GPUは全メモリ利用可能です

動作テスト

AIで生成したチビ系画像

ただし、アニメ系は不得意のようです。

アニメ系画像

平坦になってしまいました。

あり得ない画像

ラーメンの器の形はとらえられています。

リアル系人物（生成）画像

顔が潰れてしまいましたが、四肢はちゃんと再現しています。

まとめ

手直し前提ならば、十分実用に耐える技術だと思います。これからは、この手のAI生成が充実してきそうですね。