表情関連キーワードの効き具合を調べる！【prompt逆引き画像チャート＋用法用量リスト】

2023年3月23日 05:17

皆様、こんにちは、はじめまして！
駆け出しAI美女生成アーティストMiSiMO（みしも）です。
まだまだ駆け出しの身ながらStmic先生から共同研究としてお題をいただき、実験をしたので初noteを書いてみようと思います。

動機／思考実験

もともとStmicさん（そのさらに元は九鬼若芽さん？？）がくれたアイディアで、
感情系（happy,sad,angry）、表情系(smile, laugh)による感情や表情を操作するpromptと動作系（眉を上げる、寄せる、口角をあげる、口を開く）のpromptによるアプローチの二つがありそうで、表情を作るのにはそれらをうまく組み合わせられるとすごく良いのではないかという話。

だけど、その後しばらく考え、表情の構成を単純なパーツの組み合わせ的表現であらわすのってそもそも結構難しいなと考え、日本語でもそもそも表情を表す言葉のバリエーションて結構あるなということを思いました。
たとえば、顔をしかめる、眉をひそめる、考える、妬む、ふくれっつらをする、拗ねるニヤニヤする、などなど。
というわけで、私は初心者らしく、諸先輩方のアイディアや構想の20歩手前から、まず表情に関連しそうなキーワード（英語の勉強含む）を知り、それらの効果をまずは一つずつチクチク真面目に見ていこうということに今回はフォーカスを絞りました。

調査対象キーワード

前置きはそんなところで、やったことは(background)(head shot)なベースプロンプトに([キーワード]:値)のプロンプトを追加して、出力画像をひたすら並べて表情を比較する、だけです。
値は0, 0.5, 1.0, 1.25, 1.5, 1.75の値を振りました。0.5でもちょっとかかったりするのか、smile:0.5は微笑になったりするのかな、とか、laugh:0.5とsmile:1ってどっちの方が強い笑いになるんだろう、とかそんなことが気になったからです。
評価対象にしたキーワードは50個です。以下に列挙します。キーワード作成にあたっては（https://note.com/ryon3/n/n5c5c2f79c596）を参考にさせていただき、その中から個人的基準で「使いたくなりそう」「表情変化に効きそう」の観点で選別をし、その後、表情系とパーツ動作系に分けたあと、個人的な類似表情グループで勝手にグループ分けしています。

表情系：笑み

幸せな表情,happy
笑顔,laugh,
笑顔,smile,
軽い笑顔（モナリザのような）ほほえみ,light smile,
邪悪なにやにや,evil grin,
邪悪な笑顔,evil smile,
ドヤ顔,doyagao,
ドヤ顔,self-satisfaction,
ドヤ顔,smugness,
にやにや,grin,
（独善的な）にやにや片方の口角が上がっている,smirk,
魅惑的な笑顔,seductive smile,

表情系：驚き、慌て

（不意にロマンチックな状況になって）慌てる顔,flustered,
驚いた顔,surprised,
混乱した表情,confused,

表情系：シリアス

シリアス、深刻な表情,serious,
考える顔,thinking,
決心した表情、決め顔,determined,
邪悪な表情、悪だくみ,evil,
独善的前で腕を組むようなドヤ顔　お嬢様のような…,smug,

表情系：不快、怒り

怒り,angry,
（痛みや嫌悪、不快感で）眉をひそめる,grimace,
妬みの表情、嫉妬,envy,
ふくれっ面,pout,
拗ねた顔,sulking,
イライラ,annoyed,

表情系：悲しみ、泣き

泣く,crying,
すすり泣く,sobbing,
寂しい、孤独,lonely,
悲しい,sad,
悲しみで眉をひそめる,frown,
悲しみの笑顔,sad smile,

表情系：羞恥

恥ずかしい,embarrassed,
羞恥,shy,
顔全体の赤面,full-face blush,
頬染め,blush,

表情系：快楽

アヘ顔,ahegao,
上向きの目（アヘ顔）,rolling eyes,
酔っ払い、お酒に酔った顔,drunk,
絶頂,orgasm,

パーツ動作系：眉

片眉を上げた表情,raised eyebrow,
片眉を上げた表情,raised eyebrows,
眉間にしわ,furrowed brow,

パーツ動作系：目

目を閉じた顔,closed eyes,
片目を閉じる（ウインク）,one eye closed
片目を閉じる（ウインク）,winking,
涙をながす,tears,
涙目,water eye,

パーツ動作系：口・舌

舌出し,tongue out,
閉口,closed mouth,
口を開ける,open mouth,
離れた唇,parted lips,

表情ワード逆引き画像チャート

この後のセクションから３人のモデル(seed)においての各パラメータの効果を見ていきます。結果、キーワード:50 x 値:6 x seed:3 = 計900パターンになります。
元々どのパラメータがどの程度効くかを見るための実験でしたが、いざやってみると副産物的に「表情写真から使いべきキーワードを選別する逆引き辞書」的なものが出来上がりました。カラーチャートみたいな？必ずしも単語の意味が一致していなくてもご自身が作ろうとしてる表情に近いものがあったらそれを試してもらってもいいのかもしれません。
また「ダメな例」も包み隠さず載せているので、このキーワードは効かない、このキーワードでこの強度は強すぎ／弱すぎ、などの塩梅をしれるヒントにもなれば幸いです。
検証データ整理作業に時間がかなりかかった部分があるので、恐縮ですが以下のサンプルのみを無料公開にし、メイン部分は有料公開にさせていただきます。すみません！！

※2/23 17:00追記
画像チャートに加えて末尾に用法用量リストを追加しました。1. どのpromptがどれくらい効いて（強、弱、無）、2. どの量だと適切そうか、3. どういう特徴がありそうかの所感、を書いております。チャートから踏み込んでの分析部分は大事に感じたので、すみません、値上げさせていただきました。