テキストでオブジェクトを新しい環境に配置できるフレームワーク「OminiControl」を試してみる
「OminiControl」とは
OminiControlは、Diffusion Transformerモデル（FLUXのようなやつ）に対応した強力な汎用コントロールフレームワークとして最近話題になっていました！
主題の制御に優れており、入力画像内の特定のオブジェクトを指定するだけで、テキストプロンプトを用いてそのオブジェクトをまったく新しい環境に配置することができるとのこと。
空間的な制御能力にも優れ入力画像の構造をしっかりと維持しながら、高精度なインペインティング生成までできるということで早速いじってみようと思います！
🌐プロジェクトページ類
💪試してみる
早速試しにこのゴールデンキャットの置物を入れてみます。
プロンプトも入れて、Submit！
金色の猫の像は道端に飾られています
ジャーン！しっかりゴールデンキャットの置物が道端に！
誇らしげに飾られているゴールデンキャット像…いいですね！！
噂に違わぬコントロール具合です。
他にもいろいろ試してみたいと思います。
🖼️他にもいろいろやってみる
バナナは大理石の上に置かれています。
花瓶と花はゴージャスな部屋の中に飾られています
ボールたちは玄関に飾られています
しかし、こんな感じにうまくできなかったものもチラホラ…
洋服はクローゼットの中です
女性が指を刺している先には富士山があります。青空と太陽もあります。
こんなふうに物体でないものをやったり、一般的すぎるプロンプトはあんまり得意じゃない様子。
👀まとめ
このOminiControlは、だいぶコントロールが効いたモデルで驚きました。
まだまだ発展途上なところはありつつも、こんな感じに自然言語でコントロールできるフレームワークは少ないし、使い所を押さえればうまくできるのですごく便利だなと感じました。
生成AIも、どんどん細かいところの調整までできるようになってきていますね。
今日はここまで〜！(たのしかった)