It’s All About Your Sketch: Democratising Sketch Control in Diffusion Models
拡散モデル(Diffusion Models)を使った画像生成において、スケッチを制御する手法を提案しています。従来の手法では、エッジマップのような正確なスケッチが必要でしたが、この研究は、素人のフリーハンドスケッチでも高精度な画像を生成できるようにすることを目的としています。
主な貢献として、次の3つが挙げられています:
スケッチコントロールの民主化:フリーハンドスケッチからでも高精度な画像を生成可能にする。
抽象度に対応したフレームワークの導入:テキストを使わず、抽象的なスケッチからでも、生成された画像の忠実度を保つ。
ファインチューニングに判別ガイダンスを利用:事前に訓練されたスケッチベースの画像検索モデルを使用し、スケッチと画像の対応を強化。
この手法は、テキストなしでスケッチのみを使って、簡単なスケッチからでも高品質な画像を生成することを可能にしています。