画像生成AIで自分のブランドのバーチャルモデルを作った話
私は、自身で執筆中のSF小説のキャラクターをフィーチャーしたSF Tシャツ、スウェット・パーカー、スマホケース、はたまたNFTまでデザイン、販売しているオンラインストアを運営しているのですが、アパレルファッションやアクセサリーって、やっぱり商品そのものの写真だけではなくて、実際に人が着てる画像が欲しいですよね。予算やコネがあれば、イケてるモデルさんを雇って映える写真をインスタやTikTokにあげる、なんてこともできるんですが、始めたばかりのストアで売り上げもそんなになく、モデルやってそうな人とも繋がりはないので、（かといって、くたびれたおじさんの自撮りをあげるのもはばかれる・・）昨今急速な成長を遂げている生成AIを使って、なんとかバーチャルでモデルさんを作れないか、四苦八苦していました。
「そんなの画像生成AIのサービス使えば簡単じゃん」って声が聞こえてそうなのですが、あれこれ試してみた結果、「実は、自分のデザインした服を忠実に着てくれる人の画像や動画をAIで作るのは、案外難しい」という結論に至りました。そこで、私と同じことを考えている人のためにも、どうやってAIでファッションモデルを作ったか（最終的にはなんとかできました）、試行錯誤の経緯を書いておこうと思います。
前提条件
私自身は、ITエンジニアのキャリアが長いので、Pythonで書かれたモデルをGoogle Colabにインストールしてコードをいじったり、Dream StudioのREST APIなんかを使ってコードで画像を作る、ということもできるのですが、今回は、手軽に、ほとんどお金をかけず、PCも不要、できればノーコードで、という前提で試してみました。Stable Diffusion なんかでゴリゴリに調整すれば、もっとクオリティの高いものができそうですが、コードが書けない初心者でも簡単に作れる方法を探していきたいと思います。
まずは王道、ChatGPTなどのチャットAIにストレートに聞いてみた
最初にトライしてみたのが、おそらく今世の中で一番使われているチャットAI、ChatGPTに商品のTシャツ画像を添付して、これを着ている日本人の女の子の画像を作ってください、とお願いしてみました。追加情報として、ストアの商品URLを貼って、これをプロモートするためのモデル画像であることなどを入れました。そして、出てきた画像が以下👇。何回かトライしてみて、女の子の画像としてはいい感じなのですが、どうしても服のデザインが勝手に解釈されて置き換わってしまいます。そう、この「商品の服がちゃんと再現されて人物画像に合成される」というのが、実はAIでバーチャルモデルを作る際の最も高いハードルなのです。ちなみに、Gemini、Claudeでは、「まだ画像合成には対応していません。乞うご期待」って返事だったので、来年あたり、Googleさんが頑張ってGeminiに搭載してくれることを期待します。
「Could you create a Japanese
young woman image
wearing the attached image's T-shirt?」
という英語プロンプトで出てきた画像。
ちなみに以下から購入できます😆
画像特化型の生成AIツール、サービスを片っ端から使ってみる
次にやったことは、汎用AIではなくて、画像や動画生成に特化したAIツールを、ChatGPTやGeminiと並行して、Google検索などで調べつつ、使ってみました。画像アップロード、またはURLの読み込みに対応しているツールに絞って、以下を試してみました。
…その他いくつかマイナーなやつ
結論から言うと、モデルさんの画像や動画はいい感じでできるのですが、肝心の商品のTシャツがうまく再現されない！結局、これ系のことをやるとなると、LCM + Lora を駆使して、自分で服の部分を合成するコードを書かくような記事に出くわすようになり、仕方なく、hungging face にあったlcm-lora-sdxlを、Google Colabにダウンロードして、Pythonいじり出す、と言うところにまで手を出し始めたのですが（これはこれでLLMの勉強になってよかったのですが）、前提条件から離れてきたのと、もっと簡単に目的に辿り着けるのでは？と言う思いで、一旦このアプローチは断念。
なお個人的に、日本人のモデルさんを生成AIで作るには、Bingがおすすめです。一番自然で美形の男女を作れるような気がします（ただの自分好みってだけかも知れませんが・・）。 かつ、無料。Runwayは、元の画像から別のリアル人物動画を作るので、それはそれで高機能で素晴らしいですが、今回の目的とは外れるので使えませんでした。
on the street in Shibuya, Tokyo,
who could be a model」で出した女の子の画像。
日本人の若い女の子」で出した画像。
これらに、自分の商品画像がピタッとハマれば 、
言うことなしだったのですが、
それは対応していないようでした。
AIから離れて、ファッションモデルを作るサービスを探すほうに方向転換
初めから、生成AIでできるであろうという、技術的な方法論ありきで情報を探していたのですが（エンジニアにありがちな悪い癖）、そもそもやりたいことは「自分のデザインしたTシャツを着ているモデル画像を作りたい」ということでした。なので、一旦ツールや手法は置いといて、どうすればこの目的が実現できるかについて、再度ChatGPTに聞いたり、Google検索で情報を集めてみました。ちなみに、こういう質問については、Chat系AIは一般的な回答しかしてくれないので、まだまだ地道にキーワードを工夫してリンク先を辿る手動の検索も有効だなと感じました（つまり、SEOもまだまだ大事）。
で、出てきた方法は主に以下の二つ。
バーチャルモデル作成コンサル（ソリューション）の会社に依頼
Tシャツなどのモックアップ画像の生成サービス
しかし、これも前者は、手軽にお金とをかけずと言う前提に合わず（そしてほとんどが問い合わせが必要なので、案件化してしまう）、後者は、商品に使っているデザイン画像を別の服の素材に当てこむ方式なので、そもそも別商品のモックになってしまう（そして、それで済むなら自分のストアで使っているPrintfulのモックアップを探した方が良い）、と言うことで断念しました。ここまできて、なかなか目的にあった方法に辿り着かないので、しばらくリサーチは中止。
諦めかけていた時に、新幹線の中で見つけた救世主！
夏休みに入り、家族と旅行中の新幹線で、途切れ途切れになる通信で今度はスマホから、暇つぶしにリサーチを再開しました。今までの、「自分の作ったモデル画像に、自分の服を着せる」と言うアプローチではないですが、「用意された何人かのモデルに、自分の服を着せる」と言うアプローチで、自分の用途に合いそうなサービスがありました！その名も「iFoto」!
自分のストアからダウンロードしてきたTシャツの商品画像を、いくつかアップロードしてみましたが、完全ではないものの、商品画像からのリアルに着ている感がほぼ再現！（こちらのような凝った絵のTシャツなどは、デザインがちょっと潰れてしまいますが、こちらのようなロゴだけのシンプルなスウェットなどは、かなり高品質で再現できます）スマホでも操作できてスマホアプリもあるので、いろんなモデルさんを試して画像を作りまくりました。なお、無料だとiFotoのロゴが画像に入って、作れる画像数も制限があるので、思い切ってそのまま新幹線の中で、年間支払いで課金！１年で１万２千円程度なので、ビジネスの役に立つなら安いもんです。新幹線の隣の人にもしスマホの画像を見られていたら、沢山の若い女の子の画像が散りばめられていたので、キモがられていたかも知れません・・
自分のストアも使っているShopifyとも
アプリ連携しているようですが、
今はなぜかアプリストアから取り下げに
なっている模様。残念。
で、生成したバーチャルモデルがこちら。
正直、デザイン面を見ると合成であることはわかりますが、ここまで試した方法の中で、一番再現度が高いです。ロゴだけのデザインだと、以下のようにもうちょっと再現度上がりますし、これをさらに加工していけば、イメージ画像としては結構使えそうな気がしました。
商品画像と生成画像がセットで管理され、
もちろんダウンロード可能。
このまま使うのも芸がない・・
ようやくバーチャルモデルの画像が作れたわけですが、これをこのままブランドのSNSやブログにあげても、ちょっと芸がない気がして、ここから再度加工しようと決心（加工することで、はめ込みぽさも消えるのではと思った）。ちょうど、旅行中に商店街に流れていた、アニメ作品のなとりさんのOverdoseのPVをみて、「そうだ、モデルもアニメぽくしてみよう」と思いつき、今度は、人物写真をアニメ加工する手段をさがしはじめました。人物絵をアニメぽくする加工は一時期流行ったので、サービスはいくつか見つかりましたが、ここでも最初の「商品のTシャツのデザインが再現されない」問題が発生。試したサービスは以下ですが、最終的に、しっくりくる絵になった、VANCE AIの方を採用しました。
元々の顔の印象が変わっている上に、
Tシャツの色味も落ちて、
視認性が低くなっているので却下。
Tシャツのデザインは崩れているが、
雰囲気が残っているのと、
モデルの顔が元の写真と比べて
自然なので採用。
SFとしてのストーリーが欲しいので、元のモデル画像を動かすことに
ここまできて、ふと、せっかくSFグッズを販売しているのだから、何かそれっぽく見せるコンテンツにしたいのと、やはりTikTokに載せるなら動画にしたいなと思い、「元々アニメの絵だったキャラが実物のモデルになって動き出す」と言うのはどうかと思い始めました。そこで今度は、静止画像から動画を作るサービスを探すことに。これは、検索でヒットしたこちらのブログがまんまやりたいことだったので、Luma Dream Machine 一択で早速トライ！ブログに書いてあるように、期待通りの出来でした！（ブログ主さんありがとう）
キャプチャだと分かりづらいですが、
元画像をアップするだけで、
五秒程度の人物が動く動画を作れます。
プロンプトに「モデルぽく」って入れると、
そのような動きになっている（？）
生成された動画もファイルで添付しておきます👇
３つの素材をCapCutで繋げて１つの動画にしてSNSに投稿
最後に「元々アニメの絵だったキャラが実物のモデルになって動き出す」という物語のショート動画を、CapCut で作ります。自分は、最近のSNSの動画は全部CapCutで作っていて、しかも自作ではなくてテンプレートをプレビュー見ながら適当に選んで使っています。今回は、３枚画像で作成できるテンプレートに、上記で作った２つの画像と１つの動画を指定して、プリセットのテキストを編集したら、あっという間にショート動画の出来上がり！そうやってアプリ経由でTikTokにあげた完成品がこれ！👇
👉 参考： インスタ版 と YouTube版 （同じ動画を上げてますがメディアによって見え方がちょっと違う）
最後に：ストアのブログで告知して、外部メディアからリンクして終わり
こうして無事、自分のブランドのバーチャルモデルをデビューさせることができました！元々は、自分のオンラインストア用のモデルなので、最後に、バーチャルモデル公開の告知を、ストアの日本語ブログと英語ブログでそれぞれ投稿。なお、ブログの原稿は、こちらの記事で書いているように、Google Geminiに日英で書いてもらっているので、公開に数分しかかかっていません。そして、ブログへの流入を稼ぐために、外部メディア（このnote記事や、私のXのポスト）からもリンクさせます。
という感じで、私のバーチャルモデル作成の四苦八苦の記録でしたが、今回のリサーチから動画のSNSアップまでの作業は、旅行先のホテルでのパソコン作業と、帰りの新幹線でのスマホ作業のみでした。AIと通信の発達のおかげで、本当にどこでも仕事や制作作業ができるようになったもんです。便利な世の中だ。
こうして作ったバーチャルモデルのみなさんですが、その後、私のオンラインストアの売上にどう貢献してくれたかは、また別の記事でまとめたいと思います。
※2024.8.27 追記
前述で、Bingの画像にうまくTシャツを合成できないと書きましたが、その後数週間経って、Kolors-Virtual-Try-OnというモデルがHugging Faceに上がっているのを発見！Bingの生成モデルの画像と商品画像をあげたところ、なんと見事にマッチ！！これで、自分が作ったオリジナルの人物に好きなだけ自分の服を着せることができます！楽しくなって思わず大量生成したので、徐々にインスタやTikTokにあげていこうと思います！Seedによって、Tシャツの再現率にばらつき（自分のTシャツの場合、 BOZWARZのロゴのZがDに置き換わってしまう傾向あり）がありますが、以下は特に再現率高くてお気に入りです。
インスタに一番最初に作ったものをあげましたが、いい感じです。ストック作って、毎日上げていくだけで楽しそう😄
また、灯台下暗しというか、前述の、動画編集でじぶん含めてほほみんな使っているであろう、CapCutに、AI モデルの機能がありました。しかも無料！試してみると、プリセットのモデルから選ぶiFotoと同じ形式ですが、服の再現度が高い！でも、これは再現度というより、単純にモデルさんの絵がだいぶん遠くにひいているので、そう見えるだけかなと思いました。引きが強いせいか、Dream Machineで動画にすると、どうしても後半モデルさんの顔が別人になってしまう😅でも、静止画として使うには十分だと思います。CapCutで編集すればいい感じになるし。
モデルと商品だけ選べばよいのは
iFotoと同じ。
静止画ならこれがいちばん正確に
商品をあてれるかも。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？