見出し画像

ControlNetの光源及び陰影学習

とりにく

結論からいいます。陰影は覚えました。光源は覚えませんでした！あとepochはこのデータセットと用途だとepoch30位がよさそうでした完！！！！

と言って全てを投げ出したいのですが、あまりにも投げやりなのでデータを提示しましょう。

データセット

クンストパラスト美術館の3Dモデル（CC0）を1万枚レンダリングしたもの
（前回の記事参照）

epochs数の検証

結果30位がよさそう

光源の学習

結果：できていない

control_v11p_sd21_cannyとの比較

結果：用途によって使い分けできそう

まとめ

本当はcannyより優れた陰影モデルを作れました！と発表したかったのですが、そう上手くはいきませんね。
おそらくデータセットの内容（彫刻）とイラストの相性も影響していると思います。
光源の学習は一切できていないので、次チャレンジするなら光源の位置を固定して、モデル毎に順光、逆光、サイド光（左右）のモデルを4種類作ってみると面白い結果が得られるでしょう。
以上！！！！！！！！！！！！！！！！！！


いいなと思ったら応援しよう！