Meshroom パラメータテスト

次回作のパイプラインを最適化中。Blender(以下BD), Substance系(SP), Meshroom(MR)の組み合わせ。特に難解なMRのパラメータを詳しく知り選択肢を増やすことで、自動化からの時短を図りたい。

進捗度、考察

パラメータによる変化は微妙で、50㎝によっても見分けがつきにくい。しかしディティールはある方がマップの調整が効くので、そちらも残す。

100 Meshing: Add Landmarks... で必要な箇所にポリゴンが追加されるようだ
100 Mesh Filtering: めぼしいパラメータ無し
50 DepthMap:
LM_GammaC27_RefineNumberofDepths9540min
LM_SGMNbCameras100_WISH20_RefineNbCameras20 340min
ここまでで得た数値で作る。

0　DepthMapFilter>Number of Nearest Cameras, Min Consistent Cameras 　Bad Similarity, Siltering size, Compute Normal Maps
0 Feature Extraction

各結果詳細

目標を具体的に

作業時間(自動、手動の合計)を減らしたい
手作業よりも自動処理の配分を増やしたい
テクスチャは写実で50㎝に寄っても自然さを保つ上で綺麗であること
メッシュは頂点数1.5万に落とし込んでもディティールが残ること
メッシュは凹凸と平らな面の両方を持てること


これらを満たすようなMRのパラメータを見つけることが目標
現状(背景)やMRの代替との比較と踏まえつつ進む(詳細は当記事下部)

パラメータのみつけ方と手順

みつけかた: 実験と文章読み込みを繰り返す。実験優先。

手順: パラメータ単位で実験 => 気になるパラメータの詳細記事を調査 => パラメータ群単位での操作の実験 => 現状最適解を繕う。

実験優先なのは、マニュアルでパラメータの項目を見てもさっぱり直観的な理解が湧かなかったのと、パラメータでの組み合わせ次第で爆発しかねない数になりかねない結果のバリエーションを逐一覚えていられないからで、まず結果を見て、直観で影響の大きそうなパラメータを選び取って、詳細を記事や追加実験で試す、という順序でやる。

記事やマニュアルを隅々まで見ればあり得たようなパラメータの存在も切り捨ててしまいかねないのだけれど、そこはＢＤで補完する。

実験方法

ノードのパラメータを１つずつ弄る
結果をBlenderで並べてキャプチャ

パラメータの変化幅は、結果が大きく異なりそうな辺りで。
数値はスライダーなら均等になるぐらいの位置まで
数値はトグルや選択タイプなら ひと通り試す

Meshroomのmgファイルを名前を変えて保存すると2時間から10時間再計算しないといけないので既存のファイルを保存しない

Meshroomのフォルダはテスト別に管理すると見易くて使いやすい

比較画像の大きさは俯瞰的でOK。素材に求められるのは50㎝程度までで、ほどほどの距離で見たときの印象が最優先

こだわらない、研究が主ではない、直観的に分かれば良いので、適度に切り上げる。補足失敗はＢＤで汲み取る

描画方法はBlender>Solid>MatCapとCavity(面の凹凸が目立つように)
メッシュはリソース節約のため部分的に削除する。
メッシュはノイズを除去するためにModifier>Smooth を掛ける。

夢の中で考えたいときに

AliceVision | Photogrammetric Computer Vision Framework

パイプラインの現状、実験する背景

テクスチャとメッシュ作成を、MR、SP、BDのどこでやろうか検討中。MRの精度はテクスチャ、メッシュともにいまいち。しかし弄っていないパラメータは多くて、試しに簡単に弄ってみた結果、特にメッシュの改善に伸び代を感じるようになった。

テクスチャに関しては綺麗にならない。SPの単純な画像投影に任せた。現在はメッシュを改善するMR内のパラメータを、BDと長短比較しながら探している。

メッシュの自動化だけでも可能になれば、精神力、体、時間を別の創造的で生産性の高い物へ投入できる。

特に、仮にメッシュの解像度を部位毎に変えられるパラメータがあれば、滑らかな部分と細かい凹凸のある部分との差を残した再構成やリトポロジーが可能になる。欲しい。

現状の詳細

テクスチャ作成: 写実的で、50㎝までカメラを寄せても違和感の出ない解像度と綺麗さを求めている。

例えばテクスチャが2重に写ったり、メッシュ単位で明度や色合いが波打つようなノイズを持つため、非常に汚い。

MR>Texturing 内のパラメータはテクスチャの輪郭をボカすだけで上の問題を根治しない。もっと前工程のノードの設定値を試しているけれどTexturingがMR工程の最後尾にあり、かつ相当な数が前に幾層にも連なっているので、ただでさえ汚い上に、MRの多層で複雑性が高そうなパラメータ群を弄っても結果がかなり不安定になるだけで綺麗にならなさそう。

テクスチャに関してはよさそうなパラメータが見つかりそうにない一方で、初めから綺麗な元画像を直接貼り付けるるだけで完成しそうなSPを使いたい。手作業だけど、慣れれば１時間で行ける。


メッシュ作成: 形状が細かく正確に反映されて、ノーマルも滑らかになる設定をMRで探している。高解像度版はDisplacementやNormal用に１MTris程度は最低ほしい

MRのリトポロジーノード類は優秀で、手間いらずなのでこちらを使いたい。しかしメッシュ構築のノードの精度がダメで、各種パラメータも弄っているけどはっきりとした違いがあまり見えてこない。

前工程はテクスチャとくらべれば距離が近いのでコントロール自体は簡単そうだけど、前工程を比較するには時間が足りないのでやりたくない。1工程2時間とか平気で掛かる。

一方でテクスチャはMRとBLDの後でSPで投影するためにメッシュの変形によるUVの歪みは気にする必要がなく、スカルプトやハードサーフェースモデリングであればBDの方が手馴れていることもあってMRよりメリハリがありかつコントローラブルな調整が可能。

とはいえ、ざっくりとした形状はMRでも十分作ることが出来るだろうし、ケーキ類はそもそも複雑な形状をしていないし、BDでの操作はほぼ手動で立体的な操作のためかなり疲れるだろう。

つまり、大まかに作れるBRと良く質を追求できるBDの境目を探している際中で、どの程度MRのパラメータ調整で自動化と精緻化して、どの程度時間と集中力のいるBDの作業にそのMRの結果を食い込ませて楽をするか、というバランスを追及している。

メッシュの、MRと代替(BD)との比較

長所MR
パラメータが決まれば時間、精神力要らず。
ざっくりとした粒度で十分な作品なら完全自動化からの時短に繋がる。

短所MR
光沢、無地の部分はメッシュの形状が酷くなる。
パラメータを決めるまでが時間が掛かる。精神力もかかる。
先頭に近いパラメータは変更に時間が掛かる(1項目変更で2-10時間とか)

長所BD
直観的で、解像度の部位別変更も含めた柔軟な加工が可能
操作に慣れているので使いたい

短所BD
細部までこだわると集中力と体が悲鳴を上げだす
各素材毎にコントロールが異なるが、各素材感を満たすには練習が必要