NovelAIの新モデルNovelAI Diffusion Anime V2,V3を試してみる
追記・修正
V2のレポートを書いたら１カ月後にV3が出たので追記・修正しました。
V3出たタイミングで、日本語化がされていたりV2のモデルから出る画像が見るからに変わっているので、V2にも何か手が入ってそうな気がします。
はじめに
NovelAIの公式Xから新しい画像生成AIのモデル（NovelAI Diffusion Anime V2）が出たよと告知されていたので使ってみる。
なお、本記事の絵はNovelAI Diffusion Anime V2に「NovelAI Diffusion Anime V2」というプロンプトを入力して出力された画像です。
[Image Generation Update] Introducing #NovelAI Diffusion Anime V2
— NovelAI (@novelaiofficial) October 20, 2023
We are very happy to introduce you to the first new image generation model #NAIDiffusionV2. This one is mainly intended as an update to our current model and is still based on the same technology. pic.twitter.com/JXQFiaWOeK
１カ月後にV3が出ました。スピード感早い。
[Update] NovelAI Diffusion Anime V3
— NovelAI (@novelaiofficial) November 15, 2023
We are happy to introduce you to our newest model: #NAIDiffusionV3
Better knowledge, better consistency, better spatial understanding and it is even quite adept at drawing hands (finally!)
Full Release Post: https://t.co/v7q3ljxV58 pic.twitter.com/mvkLeR8kBD
検証の前提
NobelAI Diffusion Anime(Curated)を作って出力した画像で漫画を作ってました。
主人公となる女性の「宮西さん」のプロンプトを入れて各モデルを検証します。
画像生成AIの初心者で、画像生成AIってどういう技術なのか。画像生成AIで出力された画像を扱う上での著作権などの権利はどのように配慮したらいいのかなど扱う上での前提が学べる入門書を紹介します。
NovelAIが公開しているモデル
NovelAIは新しく増えたモデル合わせて5つのモデルが存在する。
各モデルに解説が書かれていたので、翻訳して記載する。
今までは、公式的にまず試すと良いよと推していたのが「NAI Diffusion Anime(Curated)」だったのだけど、新モデルが出て新モデル推しに代わっている模様。
宮西さんの呪文を入れてどんな感じに出力されるか試してみる。
NovelAI旧来のモデル解説
そもそも、今までは3つのモデルが公開されていた。
厳選版、フル版はわかるにしても、3つ目がケモノ版というのが謎。この世界はケモナーが多いのだろうか。
①NobelAI Diffusion Anime(Curated)：厳選版
NovelAI Diffusion Anime (Curated)モデルは、良質なベースライン品質と予測可能なテーマを提供します。このモデルは、よりクリーンで焦点が絞られた画像のやや小さなトレーニングセットで訓練されています。
おすすめポイント: (Curated)モデルは一般的な用途に非常に適しており、うっかり感度の高い画像を生成しないようにする際にも最適です。
色々なテイストの画像は出てくるが左上とか、宮西さんそのまま。
②NobelAI Diffusion Anime(Full)：フル版
NovelAI Diffusion Anime (Full)モデルは、より幅広い生成オプションを提供するために拡張されたトレーニングセットを使用しています。 (Curated)モデルと比較して、より粗野なコンセプトを扱うのが簡単かもしれません。
(Curated)モデルでは特定の生成が難しい場合に、(Full)モデルを試してみてください
(Full)モデルは幅広い生成オプションを提供し、特定のコンセプトを生成する際に(Curated)モデルよりも適しているかもしれません。
NobelAI Diffusion Anime(Curated)よりもテイストが統一された感じがする。これでも全然良さそう。
③NobelAI Diffusion Furry(Beta) ：ケモノ(獣人)版。
NovelAI Diffusion Furryモデルは、ファーリーや擬人化された動物に関連するコンテンツを簡単に作成することを可能にします。このモデルはまだ開発中で、（ベータ）とラベル付けされています。
このモデルはアニメモデルとは異なるタグを使用しています。このモデルの可能性を見落とさないでください。ケモノアート以外にも多くのことができるかもしれません。
宮西さんがどっか行った。上段の真ん中はケモナーな感じになっている。
デフォルメキャラを作るのにはいいのかもしれない。
NovelAI新モデル解説
④：NovelAI Diffusion Anime V2 ：バージョン2
NovelAI Diffusion Anime V2は、V1アニメモデルと同じ素晴らしい技術を活用しており、それに加えて、トレーニング方法がアップデートされたことで、さらに高い品質のアニメ画像を提供します。
一番の特徴は、トレーニング解像度の向上です。これは、SMEAサンプリングを必要とせずに、より高解像度のアニメ画像を生成できることを意味します。たとえば、NovelAI Diffusion AnimeV2を使用すると、デフォルトのポートレート解像度が以前の512x768から、今や832x1216に向上しました。これにより、キャラクターのディテールが一段と鮮明になり、アニメ制作の可能性が広がります。
期待していた新モデルですが、服や髪の毛の塗りも適当で、なんかいまいちなものが出てきた。
目の周りを赤で塗るのは学習データで多かったからなのかな。宮西さん帰ってきてー。
V3が出たタイミングで再度試してみると、明らかに出力画像が変わったので、おそらく何か変なところがあってチューニングしたのだと思われる。
ヘブンバーンズレッドのような艶やかな塗りの画像が出る傾向があります。
⑤：NovelAI Diffusion Anime V3 ：バージョン3（最新版）
V3は当社の最新のアニメ画像生成モデルです。全ての購読階層で利用可能です。SDXLを基に、独自の技術も組み合わせ、以前のモデルに比べてはるかに高い一貫性と知識を提供します。
さらに、V3にはプロンプトの開始に近い位置に配置されたタグに重点を置く特別な機能があります。これにより、画像生成の方法をより細かく制御できます。詳細は「Tagging」ページでご確認いただけます。
V3はまた、当社のV2モデルのより高い基本解像度（832x1216）を活かしており、通常の条件が満たされている限り、Opusユーザーに対して無料の生成も可能です。
入力したプロンプトに対して、実直に出力されている印象で、全体的に雰囲気が統一されている。
宮西さんがおとなしく可愛くなった感じがする。
Stepsを最大にして比較する
Stepsを最大にして実力を発揮できるようにして新旧のモデルを比較してみる。
どれが良いというのはなさそうで、モデルによって特徴が出た結果になった。
おそらくV3はプロンプトに対して実直に出力するので、調整すればV1のようなテイストの宮西さんを出力することもできそう。
結論：モデルごとに特徴がある
今回が漫画テイストのイラストをゴールとしたため、旧モデルのほうがしっくりくる画像が出力されただけかもしれないが、必ず新しいモデルのほうがよいという結果ではなかった。
まだ乗り換えはしなくてよいかな。そして旧モデルが無くなったら宮西さんは強制終了となるかもしれない。
一連の取り組みまとめ
NovelAIを使って技術同人4コマ漫画を描く取り組みまとめ
使った４コマ漫画作成ツール
使った画像生成AIサービス
出来上がった漫画
コミケに出た一連のまとめ動画
Stable DiffusionとNobel AIに対して、同じプロンプトを入れたら出力される画像はどのように違うのかなど、主要な画像生成AIについて比較されていて何を使ったらよいのか迷っている人は手に取ってみるとよいかも。