SeaGate

一級建築士、認定ファシリティマネジャー、情報処理技術者（SG）。自分が面白いと思ったことをただひたすら追求しているだけの人。

SeaGate

一級建築士、認定ファシリティマネジャー、情報処理技術者（SG）。自分が面白いと思ったことをただひたすら追求しているだけの人。

  • 建築設計における生成AI活用の試み

    建築設計分野における生成AI（Generative AI）の活用によって、革新的なデザインの創出や自動化・効率化、そして持続可能な建築の実現を目指しています。

  • AIによる建築画像生成の試み

    各種画像生成AIによって建築物の内観・外観の画像を生成し、ゆる〜く比較しています。

  • XR探検日記

    VR/AR/MRなどのXRデバイス、ゲームやコンテンツの紹介、プログラム開発などに関する取り組みの記録です。いつか、AIやアバターと組み合わせて遊んでみたい...

  • AIアバターチャットボット

    自分自身のアバターを作成し、ChatGPTで会話などができるAIアバターチャットボット作成プロジェクトです。いつかは自分自身をすべてAIで再現してみたい...

  • 生成AI・XRによって変わる建築設計プロセス

    2024.6.5に開催されたセミナー「生成AI・XRによって変わる建築設計プロセス　～現状の取り組み状況と課題、将来展望について～」でお話した内容を動画にしたものです。 前半はXRに関する話題、後半は生成AIに関する話題、そして最後に 生成AIとXRとの融合について、建築設計の視点から、それらに対する現状の取り組み状況と課題、将来展望についてお話しさせていただいています。

  • 固定された記事

LLMと画像生成AIを組み合わせ、デザインコンセプトを4象限マトリクスで整理・検討する

設計の初期段階でデザインの方向性を決めたり、ステークホルダー間でイメージを共有するため、デザインコンセプトを縦横2軸の4象限のマトリクスで整理・検討することがありますが、それを、GPT-4oと画像生成AIを組み合わせて、Difyのワークフローによって自動化することを考えます。 例えば、オフィスのインテリアイメージのコンセプトとして、下図のようにX軸をカジュアル（-1.0）～フォーマル（1.0）、Y軸を木質（-1.0）～無機質（1.0）に設定し、それぞれの数値でコンセプトの強

SeaGate

    • Recraftのモックアップ機能で、画像生成した建築パースにテクスチャーを貼り付けてみる

      少し前、建築画像の生成をテストした Recraft V3 ですが、自由度が高く使いやすいUIを備えており、長文のプロンプト（日本語対応）による高速かつ高精度な画像生成が可能で、SVG形式のベクターグラフィックス生成・出力にも対応するなど、プロトタイプデザインや高度なデザインワークを実現する画像生成AIサービスとなっています。 Recraft には、製品やデザインのモックアップを簡単に作成できる機能があり、この機能を利用することで、Tシャツやマグカップなど、製品の形状に合わせ

      SeaGate

      • MidjourneyのRetexture機能でプロポーザル提案書のイメージパースを作成してみる

        以前、高機能なペイントソフト「Krita」と画像生成AI用プラグイン「krita-ai-diffusion」を使用して、プロポーザル提案書用のイメージパースを作成できないか試していました。 そうこうしているうちに、10月24日、Midjourneyから新機能「Retexture」のテスト版がリリースされました。「Retexture」は既存画像にスタイルを適用し、輪郭やアングルを維持したまま、見た目や質感を変更することができる機能です。 そこで、Midjourney v6.

        SeaGate

        • FLUX 1.1 [pro] のUltra/Rawモードで建築画像を生成してみる

          11月初旬、ドイツのBlack Forest Labsが、FLUX 1.1 [pro] に高速かつ高解像度の画像生成が可能な Ultraモードと、人物の多様性やより自然な写真表現を実現した Rawモードを追加しました。 FLUXシリーズは、これまで FLUX.1 [dev]、FLUX1.1 [pro] で建築画像を生成しましたが、Replicateで「FLUX 1.1 [pro] Ultra」のAPIが利用可能になったので、FLUX.1 [dev]、Igeogeam 2.0

          SeaGate
        • 固定された記事

        LLMと画像生成AIを組み合わせ、デザインコンセプトを4象限マトリクスで整理・検討する

        SeaGate

        • Recraftのモックアップ機能で、画像生成した建築パースにテクスチャーを貼り付けてみる

          SeaGate

        • MidjourneyのRetexture機能でプロポーザル提案書のイメージパースを作成してみる

          SeaGate

        • FLUX 1.1 [pro] のUltra/Rawモードで建築画像を生成してみる

          SeaGate

        マガジン

        • 建築設計における生成AI活用の試み
          44本
        • AIによる建築画像生成の試み
          9本
        • XR探検日記
          33本
        • AIアバターチャットボット
          40本
        • 生成AI・XRによって変わる建築設計プロセス
          2本

        記事

          Recraft V3で建築画像を生成してみる

          Recraft V3は英国のRecraft社が10月30日に発表した画像生成モデルで、Midjourney v6.1 やFLUX 1.1 [pro]をしのぐELOスコア（イロ レーティング）を記録して話題となりました。 また、Recraft V3 はプロンプトに日本語が使えたり、生成画像に様々なスタイルを適用できるなど、高品質で多機能な画像生成モデルで、自由度が高くて使いやすいUIを備えているところも魅力です。 で、相変わらずですが、Recraft v3で、FLUX.1

          SeaGate

          Recraft V3で建築画像を生成してみる

          SeaGate

          複数モデル対応画像生成アプリをアップデート+SD 3.5／Recraft追加

          Difyが0.10にアップデートされて、以前作成した複数モデル対応画像生成アプリに不具合が出るようになっていたので、可能な限り修正するとともに、新たな画像生成モデルとして「Stable Diffusion 3.5 Large」「Recraft」を追加することにしました。 生成画像のインライン表示 不具合が出ていたのは、前回 v0.9.2 対応として変更した、各画像生成AIの生成画像アップロード先URLから、「HTTPリクエスト」ブロックで画像をGETして「回答」ブロックに

          SeaGate

          複数モデル対応画像生成アプリをアップデート+SD 3.5／Recraft追加

          SeaGate

          マルチLLMアプリをDify v0.10以降対応にアップデート＋機能追加

          Dify v0.10以降から、従来の「画像アップロード」に代わって「ファイルアプロード」機能がサポートされ、画像以外の文書、音声、映像などのファイルをアップロードし、ワークフローの中で参照したり、解析したりすることができるようになりました。 そこで、以前作成したマルチLLMアプリ「しげちゃっと」でも、GPT-4oなどのマルチモーダルLLMと組み合わせ、アップロードした文書や画像、音声データを参照・解析して回答するようにプチ改造することにしました。 ファイルアップロード

          SeaGate

          マルチLLMアプリをDify v0.10以降対応にアップデート＋機能追加

          SeaGate

          Stable Diffusion 3.5 Largeで建築画像を生成してみる

          10月22日、Stability AI から Stable Diffusion 3.5 を公開されました。Stable Diffusion 3よりも プロンプト準拠性と生成画像の画質が高くなっているとのこと。どんな建築画像を生成してくれるのか気になるところですよね。 で、相変わらずですが、Stable Diffusion 3.5 Large モデルで、FLUX.1 [dev]、Igeogeam 2.0、ImageFx、FLUX1.1 [pro] 、Midjourney v6

          SeaGate

          Stable Diffusion 3.5 Largeで建築画像を生成してみる

          SeaGate

          複数モデル対応画像生成アプリをDify v0.9.2に対応させる

          Saas版 Dify が v0.9.2 に更新され、新機能の実装や既存機能の強化が行われると同時に、コンテンツセキュリティポリシー（CSP）もサポートされるようになりました。 そのせいか、以前 作成した複数モデルを切替えながら画像生成ができる、自分専用のWebアプリで、生成結果の画像がインライン表示されなくなってしまいました。 このアプリでは、各画像生成AIよって生成された画像のURLを、「回答」ブロックに直接 Markdown 記法で「![代替テキスト](画像のURL)

          SeaGate

          複数モデル対応画像生成アプリをDify v0.9.2に対応させる

          SeaGate

          画像生成AI対決！建築画像生成16番勝負

          これまで同じプロンプトを使用して、様々な画像生成モデル（「FLUX1.1 [pro]」「Ideogram 2.0」「Midjoruney v6.1」「Imagen 3」）で建築画像を生成してきましたが、新たに「Stable Diffusion 3 Turbo」「Firefly Image 3」「DELL-E 3」を加え、16種類のプロンプトで比較してみました。 上段の「FLUX1.1 [pro]」「Ideogram 2.0」「Midjoruney v6.1」「Imagen

          SeaGate

          画像生成AI対決！建築画像生成16番勝負

          SeaGate

          複数モデル対応画像生成アプリのFLUX.1 [pro]をFLUX1.1 [pro] に更新

          FLUX1.1 [pro]がリリースされたので、Difyで作成した複数モデル対応画像生成アプリも、FLUX.1 [pro] → FLUX1.1 [pro] に更新することにします。 このアプリでは、FLUX を fal.ai と Replicate の API経由で利用しています。Black Forest Labs からも ベータ版の APIが提供されましたが、引き続き両プラットフォーム経由で使用することにします。 fal.ai fal.ai の APIドキュメント（下

          SeaGate

          複数モデル対応画像生成アプリのFLUX.1 [pro]をFLUX1.1 [pro] に更新

          SeaGate

          Midjourney v6.1で建築画像を生成してみる

          前回は、FLUX1.1 [pro]で建築画像を生成しましたが、やはり、Midjourney v6.1 と比較してみないとね、ということで、FLUX.1 [dev]、Igeogeam 2.0、ImageFx、FLUX1.1 [pro] と同じプロンプトで建築画像を生成させてみます。 内観 Realistic high-resolution image of a luxury car showroom in Tokyo. The large, floor-to-ceiling

          SeaGate

          Midjourney v6.1で建築画像を生成してみる

          SeaGate

          FLUX1.1[pro]で建築画像を生成してみる

          10月2日、Black Forest Labs から最新の画像生成モデル FLUX1.1 [pro] とベータ版の BFL API の一般提供が開始されたので、以前の FLUX.1 [dev]、Igeogeam 2.0、ImageFxと同じプロンプトで建築画像を生成させてみます。 FLUX1.1 [pro] は、Black Forest Labs と提携している fal.ai 経由で使用しています。また、fal.aiでは、FLUX.1 [dev] の2倍の生成速度を実現する

          SeaGate

          FLUX1.1[pro]で建築画像を生成してみる

          SeaGate

          Difyによる自分専用のマルチLLMアプリにDeepL API翻訳機能を追加した

          前回、Difyで自分専用のマルチLLMチャットボットのWebアプリを作りましたが、DeepLなどの翻訳サイトもよく利用するので、ついでにw DeepLのAPI翻訳も選択できるようにしました。 DeepLのAPI翻訳には無料版と有料版がありますが、無料版は翻訳できる文字数が1ヶ月あたり50文字までに制限されており、有料版は翻訳できるテキスト量に制限がなく、セキュリティ対策が強化されているとのこと。 いずれにしても、まずはアカウントを作成して、APIキーを取得する必要がありま

          SeaGate

          Difyによる自分専用のマルチLLMアプリにDeepL API翻訳機能を追加した

          SeaGate

          SII「ミスター省エネ」のセンサーデータをAutodesk Tandemで可視化する

          前回は、自宅の仕事部屋にあるスマートリモコンに内蔵された環境センサー情報を取得して、Autodesk Tandemで可視化してみました。 今回は、最近入手した、SIIの「ミスター省エネ」という環境センサーのデータを、Autodesk TandemにPOSTして可視化してみます。 「ミスター省エネ」は、900MHzの周波数帯を使用して親機にデータを送信するので、親機の仮想COMポートをポーリングし、受信したセンサーデータをTandem Data APIにひたすらPOSTする

          SeaGate

          SII「ミスター省エネ」のセンサーデータをAutodesk Tandemで可視化する

          SeaGate

          Difyで作成した複数モデル対応画像生成アプリに、プロンプト生成機能を追加する

          前回は、Difyで複数モデル（DALL-E 3, Stable Diffusion 3, FLUX.1, ideogram 2.0）を切替えながら画像生成ができる、自分専用のWebアプリを作成しましたが、結構便利に使っています。 しかし、まだ具体的なイメージがない時に、プロンプトを一から考えるのは結構面倒なので、ある程度GPT-4oにサンプルのプロンプト作ってもらって、修正しながら狙ったイメージに近づけていく方が楽です。 そのため、上記のWebアプリに、単語や簡単な文章を

          SeaGate

          Difyで作成した複数モデル対応画像生成アプリに、プロンプト生成機能を追加する

          SeaGate