見出し画像

東方ProjectなどのリアルなAIコスプレ画像をLoRaなしで生成する方法

ちるあうとガールズ

はじめに

はじめまして！ちるあうとガールズです☆
私は画像生成AIのStableDiffusionを使ってフォトリアルなAIアートをTwitterで投稿しています！

東方ProjectやアニメキャラのリアルなAIコスプレ画像を生成する方法が最近私の中で確立したので、そのやり方をご紹介します！

この方法で特徴的なのがLoRaを使わずに作れることです。
Civitaiなどで公開されているフォトリアル系AIコスプレで使えるLoRaは現状少なく、作りたいキャラクターのLoRaが公開されていないことが多いです。

私の方法なら、ある程度有名なキャラクターであればコスプレ画像が簡単に作れます。

私の過去作品

まずは私の作った作品を紹介します。
このようなAIコスプレ作品が作れます。

AIコスプレ画像を作るまでの流れ

AIコスプレ画像を生成する手順を説明します。
大きく分けて以下の4つの手順で作成します。
①作成するキャラクターの選択
②プロンプトの選定
③アニメ系イラストの作成
④アニメイラストをリアル調に変換

①作成するキャラクターの選択

まずは題材となるキャラクターを選択します。
選ぶキャラクターは色の特徴が少ないものが成功率が高くておすすめです。
服に4色以上の色が使われていたり、特殊な装飾を必要とするキャラクターは再現度が低くなる可能性があるのであまりオススメしません。
また、二次創作をするにあたって対象コンテンツのガイドラインを一読してください。

②プロンプトの選定

題材が決まったらキャラクターの特徴を示すプロンプトを選定します。
AIイラスト投稿サイトでキャラクター名で調べると
他のユーザーが投稿したプロンプトがでてくるのでそれを参考にしましょう。以下は私がオススメするAIイラスト投稿サイトです。

③アニメ系イラストの作成

次にアニメ系モデルを用いてアニメイラストを生成します。
そして作成したアニメイラストをもとにして後でリアル調に変換します。

「リアル系モデルで最初から作成しないのはなんで？」
そう思うかもしれませんね。これには2つの理由があります。

リアル系モデルで使える呪文が少ないから

リアル系モデルでAIコスプレイラストを投稿する人がまだ少ないため、有用な呪文データが蓄積されていません。AIイラスト投稿サイトで検索しても2次元のイラストばかりが表示されるはずです。2次元用の呪文をそのまま流用してもうまくいかない場合が多いです。

リアル系モデルはキャラクターのデータを十分に学習していないから

リアル系モデルは学習データの中に東方projectやアニメのキャラクターが特徴を完全再現できるほど十分学習していない場合があります。一方アニメ系モデルでは学習データにキャラクターの情報が多数含まれている場合が多く、キャラ名をそのままプロンプトに指定するだけで綺麗に出力される可能性が高いです。

最初のアニメ系イラストを出力する段階で気を付ける部分は、服装をオリジナルの絵柄に寄せることです。経験的に3次元に変換した後に修正しようとすると難しいので、2次元のうちにインペイントで修正しておきます。ただここはこだわりすぎると終わらないのである程度で大丈夫です。

また背景にオブジェクトを含めすぎないことも重要です。この段階ではそもそも背景は作りこまないか、自然物などを指定しておくとよいです。アニメ的な小物は後で3次元に変換する際に違和感の原因になります。

私がオススメするアニメ系モデルを紹介します。
モデルの利用規約に注意して使用してください。

④アニメイラストをリアル調に変換

③で作成したアニメイラストをimg2imgを用いてリアル調に変換します。
変換する際にはimg2imgとControlNetを合わせて使うことで以下のように構図を固定しながらリアル調に変換できます。

アニメイラストをリアル調に変換する

リアル調に変換する際には③で使用した呪文は三次元用にアレンジする必要があります。
もし以下のような呪文が含まれている場合は、アニメ塗りを強調してしまうので取り除いてください。

PositivePrompt: illustration, anime, light novel, pixiv
NegativePrompt: realistic, 3D

次に、プロンプトで顔の調整をします。
普段、顔面を整えるために使っているDollLikeness等のLoRaを使用している方はこのタイミングで追加してください。
ただし、(hakurei reimu:1.6)や(kirisame marisa:1.6)などキャラクター名を強調する呪文が元のプロンプトに含まれている場合、その呪文に顔つきが引っ張られる場合があります。LoRaの影響力を高めるためには、キャラ名の影響度を落としたり、除外した方がいい場合があります。

またこの段階で年齢情報を追加してもよいでしょう。アニメイラストをそのまま変換すると幼い顔つきになることが多いです。もしそれが気になる場合は30 years oldなどのプロンプトを追加してみましょう。

ControlNetではキャニー法を選択しリアル調にトレースします。
重みとguidance endを小さく設定することでリアル調に変換したときの違和感を軽減できます。推奨設定値については後述します。

実際にやってみると分かると思いますがこれらの調整を施しても、アニメイラストからフォトリアルイラストに変換すると不気味な画像に仕上がる場合があります。
その理由はいろいろありますが…一番の理由はアニメイラストの顔の大きさや骨格が、リアルな人間のそれと一致しないからです。

ここから先は変換後の画像を調整してクオリティをさらに上げるためのノウハウ、実際に私が画像生成に利用した呪文、パラメータの詳細設定、ControlNetの詳細設定などの具体的な手順について画像付きで紹介していきます。

ここから先は

2,814字 / 4画像

¥ 500

この記事が気に入ったらサポートをしてみませんか？