アート系ツールを使って、画像データセットを作る

はじめに

この記事は、商用可能な領域抽出CGデータセットを公開しました(vol1:金属塗装キズ)　の続きです。

こんな画像機械学習用の画像をつくった、舞台裏となります。
チュートリアルじゃないので、「へ～こんなのあるんだー」ってさらっと読むと面白いかも。

そんな時に役立つのが、ゲームや映画作成系のソフトたちです。
今回使ったツールは、以下の通り。

ツール

1.Substance Designer ( テクスチャ作成ソフト ) 

スパイダーマンからアナ雪までテクスチャ生成で使われるツワモノ。金属面や木の表面から、ドラゴンの皮まで生成できる。これを使って、今回は金属の塗装面とキズを作りました。

2.After Effects ( 動画作成ソフト )
動画版Photoshop。映像界隈で知らない人はいないと思う。今回は、動画でヨゴレを作り、それを1フレーム1フレームに分解することで、活用しています。

3.Blender ( CG作成ソフト・無料 )
CG作成ソフトです。無償のCG系ソフトとしては最強だと思います。今回は、作ったテクスチャをレンダリング(光源等の計算)するのに用います。

大まかな手順

大まかな手順はこの3つです。
1.Substance Designerで基本的なテクスチャを作成。
2.Substance Designer、After Effectsで、追加パーツを作成。
3.テクスチャを組み合わせてBlenderでレンダリング。

1.Substance Designerで基本的なテクスチャを作成

編集画面です。画面下部、1がプレビュー画面(3D)、2がテクスチャのプレビューです。画面上側ではノード形式で、使う画像を選択しています。画像が複数あるのが分かると思います。実は金属面などは、複数のテクスチャを組み合わせて実現されています。今回は、大事な3つのテクスチャを紹介しましょう。
Base Color : ベースの画像
Normal Map : 表面の凹凸を表すテクスチャ
Roughness Map:表面の粗さのテクスチャ

今回のケースでは、キズは、凹凸とザラザラ面、ヨゴレはザラザラ面に載せます。ということで、キズをNormal Mapの方に、キズ・ヨゴレ両方をRoughness Mapの方にのせようと思います。

2.追加パーツを作成(Substance Designer, After Effects)

2-1. Substance Designerでキズをつける

この細かいキズnoteじゃみえない説。拡大していただけるとわかるかも・・。うっすら白い線があります。
Substance Designerには、Scratch Generatorという機能があって、これでキズを作っています。その後、領域アノテーションを後付けしてます。

2-2. After Effectsでヨゴレをつける

ヨゴレは、このような動画を作成し、1フレーム1フレームを塗装のテスクチャに貼っています。

↑の作成工程としては、まずはAfter Effectsにパーティクルという、もやもや粒子を出す機能を使って映像を作ります。

これをタービュレントディスプレイスメントマップという機能を使って散らして・・・。(映像は散らす量を増加させている形です)

フラクタルノイズという機能を使って、テクスチャに強弱をつけてあげます。(映像は強弱を増加させている形です)

3.Blenderでレンダリング

あとは平面に作ったテクスチャを割り当てて、レンダリングします。
3点のライトを当てて、検査作業っぽく仕上げています。

この生成結果をデータセットで公開しています！

ざっと概要を説明しました！今回の生成結果は、商用可能な領域抽出CGデータセットを公開しました(vol1:金属塗装キズ)　で公開しています。ぜひぜひどうぞ。