見出し画像

FLUX.1 Toolsで、建築画像の修正や再生成を試してみる

SeaGate

2024年11月21日、Black Forest Labs が生成された画像の修正や再生成を可能にする拡張AIモデル群「FLUX.1 Tools」をリリースしました。

このツール群は、テキストから画像を生成する基本モデル「FLUX.1」に、より細やかな制御と操作性を追加することを目的として開発され、研究者向けのオープンアクセスモデル「FLUX.1 [dev]」とプロフェッショナル向けの「FLUX.1 [pro]」の双方で利用できます。

現在、「FLUX.1 Tools」では、以下の4つ機能が提供されています。

  • FLUX.1 Fill
    最先端のインペインティング＆アウトペインティング技術により、プロンプトによって画像の一部を編集したり、画像の拡張が可能。

  • FLUX.1 Depth
    入力画像から深度マップを作成し、立体構造を考慮した画像生成を実現。

  • FLUX.1 Canny
    画像の輪郭情報を活用し、正確な形状や構造を反映した画像生成が可能。

  • FLUX.1 Redux
    入力画像とプロンプトを組み合わせ、新しい画像を生成可能。

「FLUX.1 Tools」は、BFL APIを介して利用可能なほか、「fal.ai」「Replicate」「Together.ai」「Freepik」「krea.ai」などの主要AIプラットフォームや ComfyUI でも利用可能になっています。

ということで、「FLUX.1 Tools」の4つの機能「Fill」「Depth」「Canny」「Redux」を使用して、建築画像の修正や再作成にどのように使えるか、試してみたいと思います。


FLUX.1 Fill

まずは、Replicate で提供されている「FLUX.1 Fill」を利用し、Inpainting 機能によって、美術館の室内パースの中にオブジェを生成・合成してみます。

元画像と同じサイズのマスク画像を指定・実行すると、マスク画像の白色の領域に、プロンプト（「Contemporary art of a giant spider made of shiny metal and glass」）で指定したオブジェが生成され、元画像と違和感なく合成されます。

Replicate の「black-forest-labs / flux-fill-pro」を実行
（左）元画像／（右）Inpaintingでオブジェを生成・合成

次に、ComfyUI のワークフローを使用し、Outpainting 機能によって、元画像の領域を拡張してみます。

ComfyUI で「FLUX.1 Fill」のワークフローを実行

元画像にはなかった部分の画像が生成され、違和感なく拡張されました。

（左）元画像／（右）Outpaintingで左右・下方向に領域拡張

FLUX.1 Depth

Replicate で提供されている「FLUX.1 Depth」を利用し、大型犬が寝そべるシンプルでモダンなリビングルームを、レイアウトや家具配置などを維持したまま、虎が寝そべる和風のリビングルームに変更してみました。

プロンプト：「A photorealistic image depicting a traditional Japanese living room with an authentic and serene ambiance. The room features shoji windows, through which soft, natural light filters in, casting gentle shadows. On the tatami mat floor lies a large, lifelike tiger, its fur intricately detailed with vivid orange and black stripes. Elegant zaisu chairs are positioned around a low wooden table, adding to the minimalist and harmonious aesthetic. The background includes delicate Japanese wall art, enhancing the tranquil and culturally rich environment.」

Replicate の「black-forest-labs / flux-depth-pro」を実行
（左）元画像／（右）和風のリビングルームに変更

FLUX.1 Canny

ComfyUI のワークフローを使用し、Canny 機能によって写実的な画像をイラスト風に画風を変更してみます。

Canny は元画像から抽出した輪郭情報を参照し、プロンプトによって画像生成を行うので、イラストやアニメ調に変更するのに向いているようです。

プロンプト：「Pen-drawn illustration in light watercolor. Interior view of a modern, open, Japanese educational space. The design consists of multiple levels, with a large, spacious wooden staircase leading to each area. Large windows let in natural light, creating a warm and inviting atmosphere. People, including students and teachers, are actively engaged in a variety of activities: studying, socializing, and moving about. The architecture emphasizes an open layout with visible glass balustrades, and a combination of wood, concrete, and glass materials reflect a contemporary and functional design.」

ComfyUI で「FLUX.1 Canny」のワークフローを実行
（左）元画像／（右）ペン画＋水彩風のイラストに変更

FLUX.1 Redux

Replicate で提供されている「FLUX.1 Redux」を利用し、プロンプトなしで、元画像の主要な要素を維持したままバリエーション画像を複数枚生成しています。

Replicate の「black-forest-labs / flux-redux-dev」を実行
（左）元画像／（右）生成されたバリエーション画像

まとめ

「FLUX.1」をベースにしているので、高品質で破綻の少ない建築画像の生成や再生成、修正などが期待できます。

また、[pro] は商用利用も可能で、BFL APIや「fal.ai」「Replicate」などの主要AIプラットフォーム、ComfyUI など、様々な方法で利用できるのも良いですね。

いいなと思ったら応援しよう！