【速報】Stability AIはClipdropの新機能『Stable Diffusion Reimagine』を発表しました。

Stability AIは、 Stable Diffusion Reimagineを開始することを発表します！Stable Diffusion を通して、ユーザーが画像を試し、デザインを「再想像」するよう呼びかけます。

Stable Diffusion Reimagineは、新しい クリップドロップツール1つの画像から複数のバリエーションを無制限に生成できるようにしたものです。複雑なプロンプトは必要ありません。ユーザーは、アルゴリズムに画像をアップロードするだけで、好きなだけバリエーションを作成することができます。

下の例では、左上の画像がツールに投入されたオリジナルファイルで、その他の画像はオリジナルからインスピレーションを得た「再構築」された作品です。

寝室がボタン一つで生まれ変わります。

ファッションの見た目を試してみたり、それ以上のことも楽しむことができます

また、アップスケーラーを搭載しており、小さな画像をアップロードすると、2倍以上の精細な画像を生成することが可能です。

使用方法と制限

Stable Diffusion Reimagineは、オリジナルの入力に基づいてイメージを再現しません。Stable Diffusion Reimagineは、オリジナルにインスパイアされた新しいイメージを創造します。
この技術には限界があることが分かっています。ある画像では素晴らしい結果を導き出し、別の画像ではあまり印象に残らない結果を出すことがあります。
不適切なリクエストをブロックするためのフィルターをモデル内に設置していますが、フィルターが偽陰性または偽陽性を起こす可能性が時々あります。
また、モデルが異常な結果を出したり、偏った挙動を示したりすることもあります。 私たちは、このシステムを改善し、これらの偏りを軽減するための継続的な作業の助けとなる、ユーザーのフィードバックを収集することを熱望しています。

技術情報

Stable Diffusion Reimagine が作成した新しいアルゴリズムに基づいています。 stability.ai.古典的なテキストから画像への変換Stable Diffusion モデルは、テキスト入力に条件付けされるように学習されます。

本バージョンでは、オリジナルのテキストエンコーダーをイメージエンコーダーに置き換えています。テキスト入力に基づいて画像を生成するのではなく、画像から画像を生成する。エンコーダーをアルゴリズムに通した後、バリエーションを生み出すためにいくつかのノイズが加えられています。

この手法では、細部や構図が異なる類似した外観の画像を作成することができます。画像間のアルゴリズムとは異なり、ソース画像はまず完全にエンコードされます。つまり、ジェネレーターはオリジナル画像から得たピクセルを1つも使用しません。

Stable Diffusion Reimagineのモデルがまもなくオープンソース化されます。 Stability AIのGitHub.