[解説]AIによるアニメの実写画像の作り方

こんにちは、IoT探検家のシンクンです。

今回は最近YoutubeやInstagramで話題になっているAIを使ったアニメの実写画像を作ってみました。

・Youtubeで"ai""実写化"を検索
・Instagramのアカウントartbreeder_animeを見る

全体の流れ

1）画像生成アプリ「Artbreeder」
2）GANの仕組み
3）実演

1）画像生成アプリ「Artbreeder」

結論から言うと、話題になっているAIを使ったアニメの実写画像はArtbreederという画像生成アプリを利用して作られています。

Browse - Artbreeder

元になっているテクノロジーはGANという画像生成の領域で有名なアーキテクチャで、それを応用したBigGANとStyleGANのモデルを使って作られています。

また、以前はGanbreederという名称だったようでコードもGithubに公開されています。

2）GANの仕組み

GAN
Generative Adversarial Networks。AI専門家のイアン・グッドフェローが2014年に発表。

GANはジェネレータ(generator)とディスクリミネータ(discriminator)という2種類のネットワークの構成です。

ジェネレータ：入力として潜在空間のランダムベクトルを受け取り、画像を生成して出力する。
ディスクリミネータ：入力として画像を受け取り、その画像が本物か(ジェネレータによって生成された)偽物かを予測して出力する。

この2つのネットワークを戦わせること(ジェネレータはディスクリミネータが間違えるような偽物画像を作るように学習していき、ディスクリミネータは偽物をきちんと見抜けるように学習させていく)で、最終的に本物と見分けがつかないような偽物、すなわち新しい画像サンプルをつくり出すことを実現しています。(参照図書：「深層学習教科書 ディープラーニング G検定（ジェネラリスト） 公式テキスト」)

そして、GAN自体は上の画像のようなアーキテクチャのことを指し、ジェネレータとディスクリミネータのそれぞれのネットワークにディープラーニングを用いた派生モデルが高精度の画像生成を可能にしており、Artbreederが使うBigGANとStyleGANもその一つです。

BigGAN
Big Generative Adversarial Networks。DeepMind社が2018年に発表。

StyleGAN
A Style-Based Generator Architecture for Generative Adversarial Networks。NVIDIA社が2018年に発表。

BigGANによって最大512×512ピクセルの高解像度画像を生成が可能で、出力画像のカテゴリーをコントロールすることができるようになりました。

またStyleGANはスタイル変換で提案された正規化手法を導入することで、上のイメージのように生成画像の大局的な構造から詳細構造までを柔軟に制御することを実現しています。(イメージ参照元：「A Style-Based Generator Architecture for Generative Adversarial Networks」)

※注意
Artbreederにアニメの画像を入力したら一発で実写画像が生成されるわけではない。Artbreederで出来ることは複数の画像の特徴を組み合わせてたり、髪型や表情などのスタイルの変換すること。

3）実演

それではArtbreederを使って実際にアニメの実写画像を作っていきたいと思います。

素材は魔女の宅急便の主人公キキを選びました。

キキ
魔女の宅急便の主人公。13歳。魔女の掟である独り立ちの日を迎えた活発な少女。明るく前向きな性格。魔女ではあるが、都会に憧れたり、街をゆく女の子のおしゃれな恰好が気になったりと、素顔はごく普通の少女。(Wikipediaより)

Artbreederのアカウントを作成しログインしたら、トップ画面右上のCreateを選択。するとカテゴリー選択画面になるので、Portraitsを選択します。

Compose：Artbreederに用意されている既存画像を組み合わせて画像を生成
Upload：自分オリジナルの画像をアップロードして画像生成
Animation：アニメーションを生成

ポートレートの作り方はComposeとUploadとAnimationの3種類あります。

Artbreederに元から用意されている既存画像のクオリティが高く、それを利用したほうが簡単に実写画像を作れるためComposeを選びました。

そしてComposeの画面で画像を生成していきます。

実写画像がどれだけ元のアニメに近くなるかは、ここからの作業での作り手のクリエイティビティにかかっていると言えます。

まずはSelectで、今回の素材であるキキのイメージに近いと思う任意の画像2枚を親画像として選択。続いてFaceとStyleの適応割合を変更したり、Genesで年齢や人種などの遺伝子パラメータを設定したりし、赤丸枠の更新ボタンをクリック。すると2枚の画像を組み合わせて画像が3枚生成されました。

次にこの3枚からイメージにあう1枚を選んで、Edit-Genesで各種遺伝子のパラメータを調整することで実写画像が完成です。(今回は素材のキキに合うようにHappyとEyesOpenとBlackHairの3つを調整。)

Artbreederから生成画像をダウンロードできるので、更にphotoshopで加工したり、remove.bgを使って画像の背景を削除し変更したりすることでより実写画像の完成度を高めることができますね。

以上で実演は終わりです。とても簡単にアニメの実写画像を作ることが出来て驚きました。

個人的にはなかなか上手く作れたと思いますが、最初に紹介したInstagramのartbreeder_animeのクリエイターは遥かに高い完成度のキキを作っているのでよかったら比べてみてください^_^

振り返り

最後に今回のAIによるアニメの実写画像作成の振り返りです。

振り返り
・ArtbreederはGANの派生モデルであるBigGANとStyleGANを使って作られた画像生成アプリで、複数の画像の特徴を組み合わせてたり、髪型や表情などのスタイルの変換することができる。
・実写画像のクオリティは元の素材をどれだけイメージできるかというクリエイティビティによる。
・今回のAIによるアニメの実写画像作成にかかった時間は60分でした。

動画で見る