Generative AI（リアル系画像生成）をしばらく試してみて ～ 自分で撮った写真を使って img2img
まえがき
いや～、しかし AI 関連 、今年は特にもう、あまりにも進歩が早すぎてついて行けませんね。(；´Д｀)
ChatGPT さんにも、コード書くときとかそれなりにお世話になっております。
さて今回は、画像生成 AI のお話です。
私は趣味でポートレート写真を撮るので、リアル系画像生成に興味があります。でも今は GPU 搭載 PC を持ってないので、Google Colab 無料プランで 3 月頭くらいからリアル系画像生成 AI を試してみていました 。
Google Colab 登録済みなら数分で環境設定終わるし、Colab 上の GPU 使えばリモートで一枚10秒前後で生成できるし、手軽に遊べて良かったんですが、最近どんどん流行ってきてGoogle Colab の負荷が増えすぎたようで、Stable Diffusion WebUI が使えなくなったようです。（無料版のみ？）
GPU 搭載 PC を買う資金もないので、とりあえずこれまで使った感想とかを交え、生成画像メインでまとめておこうかと思います。
造形がアヤシいのもちょくちょくありますが、それも含めて現状と言うことでご覧ください。
Stable Diffusion のモデルには、リアル系生成に優れた ChilloutMix を使わせて頂いています。
プロンプトについて
メインは、リアル系画像生成を行っている Web を参考にほぼコピペで、アクセ、シチュエーションとかを追加したりして色々試しました。
ほぼ共通で使っていたのが以下のプロンプトです。
POSITIVE : best quality, masterpiece, ultra high res, photo realistic:1.4, beautiful lighting, extremely detailed CG unity 8k wallpaper, detailed beautiful face, girls, cute, young, professional lighting, physically-based rendering, depth of field
NEGATIVE : painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((grayscale)),skin spots, acnes, skin blemishes, age spot, ugly face, fat, missing fingers, extra fingers, extra arms, open chest, mutation, multi-limbs, freckles, nipples, NSFW
「若い」系プロンプトを入れた方が顔の造形が綺麗になる気がしますが、それだけだと「幼く」なってしまう場合もあります。その場合、「大人」的シチュエーションとかをプロンプトを入れてあげると回避できた感じです。
sunburn, sunset, dancing
half transparent stole, rose, flower tiara, bracelets, wearing dress
luxury room, smell the fragrance of flowers, light bulbs, garter belt
candles, cat garter, choker, chain belt, leather long boots
N が出ないようネガティブプロンプトに入れてはいるのですが、かなりの確率で出てきてしまいます。
これは確かに、体の線を綺麗に出すにはデータとして N が必要でしょうから仕方ないのかもしれません。
昔、普通の衣装で撮りたいのに
「服を着てると、どうして良いか分からない・・」
と言ってどんどん脱いでいってしまう、めっちゃかわいい N 系モデルさんが いたのを思い出します・・。(^_^;)
渡した写真を
「子供ができたら見せて自慢するんだっ！」
「女の子だったら絶対モデルにさせる！」
って言ってました。(u_u)
それではここから、簡単なコメント以外ほとんどが画像です。
最後に感想だけ書いておきます。
生成画像
最初に生成したのがこのあたり。
ランドスケープだとポートレートの元データが少ないためか人物の造形が壊れやすく、結構苦労します。顔を綺麗に出したいなら、（縦長構図の意味の）ポートレートの方が楽です。
このくらいの解像度だと、引きの画だと顔が崩れてしまいます。解像度を上げると Colab では果てしなく時間が掛かるので、構図はかなり限定されます。ほんとは広角ポートレートとか好きなんですけどね。
ここからはローズ縛りでしばらく。
ローズを除いてティアラ系。
img2img
この辺りから、tex2img ではなく 画像を元にプロンプトも反映する img2img で遊び始めました。
むしろジミー・ペイジ？ｗ
ポールとリンダが入れ替わってしまいました。
とにかくちょっと広角気味だと、顔の造形が崩れやすいです。
MATLAB やりながらめっちゃ好みの娘が出せたんですが、img2img の欠点として、「同じ顔を出すのがほぼ不可能」というのがあります。
う～ん、残念。(ﾟ～ﾟ)
次は、板野友美さん画像（ペイント処理してあります(^_^;)）を元に img2img。
ほぼ共通プロンプトで、画像だけ入れ替えています。当たり外れはありますが、構図認識もかなりの精度です。顔が似るわけではなく、構図や色合いが似た感じになります。
DBとは関係ありませんが、こうなると構図の著作権とかどうなるかも気になりますね。ありきたりのでは難しいでしょうが、独特なヤツは認められることもありそうです。
このあたりから、img2imgの「当たり外れ」を使って遊び始めました。
自分で撮った写真の中から、構図認識失敗しそうなのをわざと選んでいます。
もはやポートレートでもなくなっていますが。ｗ
こういう、普通に見えますが、プロンプトだけに頼らず「雰囲気」を再現するのにもけっこう使えます。
上原亜衣さん LoRA モデル
LoRA とは低ランクの適用モデルで、既存モデルに対する追加学習情報です。
これを適用することにより、特定の絵柄を簡単に出すことができます。
上原亜衣さんが、著名人としてはおそらく世界初と思われますが、ご自身の顔を学習させた LoRA を公開されましたので、これを利用させて頂きました。
これもベースモデルには ChilloutMix を使っています。
それでは一気に。
ここからは全て、自分で撮った写真を使った img2img 生成画像です。
Adobe Firefly
途中、Colab で WebUI が動かなくなり（Colab のバージョンが上がってしまったため 原因と対策が分かるまで苦労しました・・）、ちょうど Firefly が使えるようになっていたので試してみていました。
初回、まだ自由度が低いこともあって Stable Diffusion よりさらに思ったようにならないけれども、人の造形が大きく崩れることが少なく自然なのはとても良いなと思いました。大当たりはなかなか出ないですが。
でも2回目は顔の造形が崩れまくって、なかなかまともなのが生成できず苦労しました。どうもシチュエーションによるクオリティに差がありすぎる感じです。
BRA
アジア系特化の LoRA、BRA（V3） もちょっと試してみました。
確かに日本人っぽい顔が出やすいですが、まだ慣れなくてイマイチ思ったようにならない感じでした。
タイトル画像（2023/04/30 追加）
せっかくなので、タイトル画像に使ったヤツも追加しておきます。
最後のは BRAV3、それ以外は ChilloutMix です。
感想
一言で言うと、「楽しい」です！
著作権や心情的な問題は色々とありますが、写真を撮る人であれば「似た感じで」楽しめる気はします。
学習に使えるかどうかはオプトアウトや利益配分（Adobe Photo Stock の現状を見ても、相当安くなってしまうと思いますが・・）、生成画像が著作物に酷似していれば従来の著作権法（これは学習に使ったかどうかとは関係ありません）で対処、という流れなんですかね・・。
勘違いしていましたが、著作権法では偶然に一致した場合は著作権の侵害とはみなされず、著作物を利用したこと（一般的に「依拠性」と呼ばれるが著作権法にその言葉自体は出てこない）を原告側が証明する必要があるそうです。
ここは特許法とは違うところですね。
ただ依拠性の定義は確立されておらず、特に日本ではそれを取り扱った裁判例がほとんどないとのこと。
客観的な証明は一般的に難しそうですし、これから問題になりそうですね。
まあいずれにしても技術の進歩自体を止めることはできないので、まずは「体験」してみることをオススメはします。
ただ、ずっと生成してると、逆に生身のモデルさんを撮りたい写欲が沸いてきます。
やはり「撮る」こと自体が一番楽しいので！