企画職向けAI論文解説：画像の文字の指示による変換：StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators

文系企画職の為のディープラーニングの論文解説です。DLの概要理解を通してAIのビジネス活用企画を立案する事を目的としておりDL専門家視点での細かな部分の説明は省略していたり、分かりやすく調整している場合があります。
元論文はこちら（2021年8月投稿の論文）

要点

文字で指示を与える事で、画像を変換するよ。例えば、普通の車の写真をスポーツカーの写真に変えたり、顔の写真をスケッチ風などに変換したり、ディズニー風にしたり、どんな変換でも文字での指示のみで変換可能。この論文のポイントはその際に、ドメイン外の領域にも文字の指示だけで変換できること。ドメイン外とは、学習した元画像データ群に含まれない領域の事。例えば顔写真しかないのに、写真ではない手描きスケッチ風に変換できる。

StyleGAN-NADAによる画像変換の実例

筆者が実際に試してみた変換を掲載します。

デザイナーのスケッチ画像への変換

変換指示文字列：photo → art design sketch

変換前

変換後

ギャルへの変換

変換指示文字列：face → gyaru

変換前

変換後

仕組み等詳細

仕組み等の詳細はこちらに記載しています。

主に、文系企画職向けにAIを理解する為の目的で記載をしています。