Day50―スケッチから3Dモデルを生成する

ついに半分の50日目（実際は気まぐれに休んでいるので、日付にそこまで意味はない）。
今回は機械学習、画像処理に関するトピック。

Su, W., Du, D., Yang, X., Zhou, S., & Fu, H. (2018). Interactive sketch-based normal map generation with deep neural networks. Proceedings of the ACM on Computer Graphics and Interactive Techniques, 1(1), 22.

GAN (Generative Adversarial Networks) を利用することで、ラフなスケッチから3Dモデルを生成するモデルを作成。

背景

GANは2つのネットワークを競わせながら学習させるニューラルネットワーク (N. N.) で、DCGAN (Deep Convolutional GAN) などによってブームとなった。多くのニューラルネットワークは損失関数を最小化することを目指している中で、GANは2つのN.N.が最小化、最大化と相反する目標を持っているため、「敵対的」と呼ばれている。ランダムノイズを挿入するため、学習する度に結果が若干異なることもポイントである。

モデル

本研究のモデルは、トレーニングデータとしてスケッチと交点マップ（関節の位置ドット）を使用する。生成ネットワークによるGeneratorと、それが理想のアウトプットに近いか識別するDiscriminatorの2つで構成される。
提案したモデルでは従来の手法と比べ、理想のイメージとの差分が全体的に少ない（分散が少ない）システムとなった。ただし交点マップが重要なファクターで、交点マップを増やすことで損失を減らすことができる。交点マップが無い状態では、従来の手法とそこまで変わらない。

所感

GANの理解が追いつかず、中身の説明が一切できない要約となってしまいました。
GANは最近メディアアートでもよく見かけるため、意外性のある結果が出やすいのだと思います。その分ハイパーパラメータをいかに設定するか、モデルの構築段階で考えるべきポイントが多く、発展の余地が非常に多くある分野だと感じました。