pix2pixが条件付き敵対的生成ネットワーク(CGAN)で画像翻訳をする仕組み

この記事で学ぶこと

pix2pixとは画像を変換するディープラーニングのモデルです。今回はその仕組みを解説します。

下記のビデオはpix2pixを利用したもので、芸術家であるMemo Aktenによって制作されました。

また、以下はChristopher Hesse（2021年現在OpenAI在籍）によるもので、スケッチからネコ入り画像を作り出すという荒技で話題になりました。

引用元：Image-to-Image Demo

そのほかにも様々な応用例がpix2pixのサイトから伺えます。

ではpix2pixとは一体何を目指して開発されたのでしょうか？

以下では、pix2pixの仕組みを解説します。