【NovelAI】インペイントとバイブストランスファーで遊んでみた

はじめに

NovelAIのバイブストランスファー機能を試してみました。今回は、インペイントとマルチバイブストランスファーについても簡単にご紹介します。

https://x.com/toki_mwc/status/1780152426487816532

NovelAIのインペイントええ仕事してくれてるねぇ

上部：バイブストランスファー
中央：インペイント
下部：マルチバイブストランスファー#NovelAI #AIイラスト︎ pic.twitter.com/iPuwaJ5If9

— トキ@AIよろず屋 / Toki@AI Enthusiast (@toki_mwc) April 16, 2024

インペイント機能について

NovelAIのインペイント機能は、イラストの一部を修正するためのツールです。特にAIによって生成されたイラストで、手や身体の一部がうまく描けていない場合に有効です。ユーザーはマスク（範囲指定）を使用して、修正したい部分を指定し、その部分だけを中心にイラストを修正することができます。

バイブストランスファー機能について

バイブストランスファーは、参照画像から質感や構成要素、雰囲気などの「バイブス（テイスト）」を抽出し、新しいイラストの生成に適用する機能です。このツールは、特にNovelAIが学習していないキャラクターやポーズ、タッチを再現する際に役立ちます。

このバイブストランスファーを複数重ねたマルチバイブストランスファーも基本的には同じだと思います。

Vibe Transfer — Japanese Announcement

今回は、NovelAIで生成した以下のイラストを使ってインペイントとバイブストランスファーを試していきます。

生成画像(NovelAI)

インペイントの使い方

 NovelAIにログインします。画像を生成するか、インペイントしたい画像を用意します。上側にあるアイコンから「画像をインペイントする」ボタンを選択します。

画像をインペイントする

鉛筆ボタンをクリックして、修正したい箇所を塗りつぶします（マスク）。ここでは、真ん中のキャラクターの眼の色を変えるので、目の周辺を塗りつぶします。

塗りつぶした箇所が、青色に変更されます。

例として、目の色を緑からオレンジに変えてみます。

マスク中

塗りつぶしたい箇所についてはそれほどギリギリに攻めなくても大丈夫です。大体でいいので、ゆるく塗っていきましょう。大きく塗りすぎてしまった場合は、消しゴムボタンで塗りつぶした箇所を削除します。

マスクができました保存するボタンを押して、先ほどの生成画面に戻りましょう。

プロンプトに修正する呪文を入れてから、生成してください。

プロンプトは orange eyes で生成してみます。（必要に応じて、1girl, pink hairとか周辺部分のプロンプトを追加してみましょう）

インペイント後

うまくオレンジ色の目に修正されました。品質が気になるようであれば、例えば amazing quality, great quality, などの品質アップ系のプロンプトを追加してみましょう。（あとはガチャを楽しみましょう）

その他のキャラクターもインペイントで修正していきましょう。面倒であれば、髪+目、服+顔など一気に修正することもできますが、調整が難しくなります。（あとはガチャを楽しみましょう：2回目）

バイブストランスファーの使い方

まず、抽出したい画像を用意します。NovelAIの生成画面にドラッグアンドドロップで挿入できます。選択画面が表示されますので「バイブストランスファー」を選択します。

以下のようにバイブストランスファー画面からパラメータを調整します。値が1に近いほど、影響が大きくなります。

今回は全体ではなくインペイントを使って上部と下部にバイブストランスファーをかけていきます。

バイブストランスファー設定

まずは、上部の白い部分をインペイントでマスクをかけます。（塗り塗り）

マスク（上部）

それから、以下のプロンプトに変更して生成します。

 no humans, amazing quality, great quality, night, night sky, oil painting (medium), 

バイブストランスファー

ここで以下のことがわかりました。

• 白色の部分は、インペイントでうまく修正するのが難しい

• バイブストランスファーの値が小さいと変化しない（参照強度1で生成）

• インペイントで塗った箇所が全部修正されるわけではない

今回はイラスト全体を把握していたのか、余白を開けてインペイントが機能していますね。

今度は、下の白い部分で試してみましょう。

マルチバイブストランスファーの使い方

基本的にはバイブストランスファーと同じ操作になります。
インペイントで下部をマスクします。（塗り塗り：2回目）

マスク中

新たにバイブストランスファー用の画像をドラッグアンドドロップして挿入します。

マルチバイブストランスファー設定

プロンプトに sunflower とか入れちゃいます。それから生成します。

マルチバイブストランスファー

活用事例

バイブストランスファーを重ね掛けすると、プロンプトが圧縮されてしまい調整が難しくなりますね。（要検証）

NovelAIのマルチバイブストランスファーお試し中

テーマ「かき氷」

左：プロンプトのみ
右：マルチバイブストランスファー(4枚重ね掛け）#AIイラスト #NovelAI pic.twitter.com/kwF6OWWFJJ

— トキ@AIよろず屋 / Toki@AI Enthusiast (@toki_mwc) April 11, 2024

まとめ

NovelAIのインペイントとバイブストランスファーの使い方について紹介しました。どちらも優れた面白い機能ですので、ぜひ使ってみてください。

参考記事