見出し画像

Invoke AIでLoRAやControlNetを使う方法

yonaka

Invoke AIは、Stable Diffusionをベースにした強力なオープンソースの画像生成AIツールです。本記事では、Invoke AIを使用してLoRA（Low-Rank Adaptation）やControlNetを活用する方法について解説します。最新の情報を踏まえて、使用方法と新機能について調べました。

Invoke AIの概要

Invoke AIは、プロフェッショナル、アーティスト、および愛好家が最新のAI技術を使用して視覚メディアを生成および作成できるようにする、Stable Diffusionモデルの主要なクリエイティブエンジンです。業界をリードするWebUIを提供し、CLIを通じたターミナル使用をサポートし、複数の商用製品の基盤となっています。

最新のアップデートにより、Invoke AIは以下の2つのエディションで提供されるようになりました：

  1. コミュニティエディション

    • 商用利用可能なライセンスで無料で使用可能

    • 互換性のあるハードウェアにダウンロードしてインストール

    • マルチユーザーサポート、改善されたモデルトレーニングなどの追加機能を提供

  2. プロフェッショナルエディション

    • 月額サブスクリプション制で3つの異なるプランレベルを提供

    • クラウドでホストされ、モデルへの簡単で安全なアクセスとスケーラビリティを提供

    • すべてのコアスタジオ機能を含む：画像の生成、洗練、反復、ワークフローの構築

クイックスタート

  1. 最新リリースの下部からインストーラーをダウンロードして解凍します。

  2. インストーラースクリプトを実行します。

  3. プロンプトが表示されたら、インストール場所を入力し、GPUタイプを選択します。

  4. インストールが完了したら、インストール時に選択したディレクトリを見つけ、ランチャースクリプトを実行します。

  5. オプション1を選択してアプリケーションを起動し、ブラウザでhttp://localhost:9090を開きます。

  6. モデルマネージャータブを開いてスターターモデルをインストールすれば、生成の準備が整います。

革新的な新ユーザーインターフェイス

Invoke AIの最新バージョンでは、革新的な新しいユーザーインターフェイスが導入されました。このインターフェイスは、オプションパネル、作業エリア、ギャラリーの3つの主要セクションに分かれています。各セクションは、ユーザーの生産性と創造性を向上させるように設計されています。

  • オプションパネル：異なるモダリティとワークフローを切り替え、生成設定を更新し、市場で最も高度な制御機能にアクセスできます。

  • 作業エリア：画像生成と編集の中心的な場所です。

  • ギャラリー：生成された画像を表示し、管理するためのスペースです。

テキストから画像生成の強化

Invoke AIの最新バージョンでは、テキストから画像を生成する機能が大幅に強化されました。ポジティブとネガティブの両方のプロンプトボックスが用意され、プロフェッショナルユーザーに最終的な美学をコントロールする比類のない能力を提供します。特筆すべきは、使用されたプロンプトが正確にモデルに渡されることを保証する取り組みです。

画像生成設定の最適化

画像サイズ、アスペクト比、開始ノイズなどのカスタマイズ可能な設定が導入されました。システムは望ましくないアーティファクトを生成する可能性のあるサイズについて警告し、特定のモデルアーキテクチャに応じて最適化することができます。

LoRAを使用する方法

LoRA（Low-Rank Adaptation）は、事前学習済みモデルを効率的に微調整する技術です。Invoke AIでLoRAを使用するには：

  1. LoRAモデルをダウンロードし、指定のフォルダに配置します。

  2. WebUIの「Models」タブから、使用したいLoRAモデルを選択します。

  3. プロンプトにLoRAの呼び出しコマンドを追加します（例：`lora:モデル名:重み`）。

例えば、「Ink Scenery LoRA」を使用する場合、プロンプトに `lora:ink_scenery:0.7` のように追加します。

最新バージョンでは、複数のLoRAを同時に使用することが可能になり、より複雑で詳細な画像生成が可能になりました。また、LoRAの重みを動的に調整する機能も追加され、より柔軟な画像生成が可能になっています。

ControlNetを使用する方法

ControlNetは、画像生成プロセスにより細かな制御を加えることができる技術です。Invoke AIでControlNetを使用するには：

  1. ControlNetモデルをダウンロードし、指定のフォルダに配置します。

  2. WebUIの「ControlNet」タブを開きます。

  3. 使用したいControlNetモデルを選択し、制御画像をアップロードします。

  4. 強度やその他のパラメータを調整します。

ControlNetを使用することで、輪郭、ポーズ、または特定の画像特徴に基づいて画像生成をガイドすることができます。最新のInvoke AIでは、複数のControlNetモデルを同時に使用する機能が追加され、より精密な制御が可能になりました。

高度な使用方法

  • LoRAとControlNetを組み合わせることで、より精密な画像生成が可能です。

  • プロンプトエンジニアリングを活用し、LoRAやControlNetの効果を最大化しましょう。

  • バッチ処理機能を使用して、複数の画像を効率的に生成できます。

  • 統合キャンバス（Unified Canvas）機能を使用して、インペインティングやアウトペインティングなどの高度な編集が可能です。

  • 最新バージョンでは、Control Net、IP Adapter、T-Toi Adapterなどの高度な構成制御ツールが追加され、エッジや深度などの特性を分析し、出力をより細かく制御できるようになりました。

  • タイル状のアップスケーリングなどのタスクに対応するカスタマイズされたクリエイティブプロセスを設計できます。

  • 画像合成機能を使用すると、複数の画像を組み合わせて新しい画像を作成することができます。

注意点

  • 常に最新バージョンのInvoke AIを使用することをおすすめします。新機能や改善が頻繁に行われています。

  • LoRAモデルは信頼できるソースからダウンロードしてください。Civitaiなどのプラットフォームでsafetensors形式で配布されています。

  • 生成された画像の著作権や倫理的な使用について十分に注意を払いましょう。

  • アップスケーリング機能を使用して、生成された画像の品質を向上させることができます。

  • GPUの性能によっては、複数のLoRAやControlNetを同時に使用すると処理時間が長くなる場合があります。

  • エンタープライズ利用の場合、セキュリティとコンプライアンスに関する設定を適切に行ってください。

  • Invoke AIのDiscordコミュニティに参加することで、最新の情報や他のユーザーからのアドバイスを得ることができます。

  • 最新のアップデートでは、AIモデルの選択肢が増え、より多様な画風や表現が可能になっています。モデルの特性を理解し、目的に応じて適切なものを選択することが重要です。

タブレットモードとマルチユーザーサポート

最新のInvoke AIでは、タブレットモードが導入され、PCで実行しながらタブレットやスマートフォンから接続して画像を生成することが可能になりました。これにより、ベッドからでも快適に操作できるようになりました。

また、マルチユーザーサポートも強化され、友人や同僚にあなたのPCで画像を生成する権限を簡単に与えることができるようになりました。これは、チームでの創作活動やリモートワークの環境で特に有用です。

モデルのインストールと管理

Invoke AIの最新バージョンでは、統合されたモデルインストーラーが導入され、新しいファインチューニングされたモデルを簡単に入手できるようになりました。これにより、より多様なアートスタイルや表現を試すことが容易になりました。

また、モデルマネージャー機能も改善され、ダウンロードしたモデルの管理や切り替えがより直感的に行えるようになっています。

新機能：ワークフローエディタ

最新のInvoke AIでは、ワークフローエディタ機能が追加されました。この機能を使用すると、複雑な画像生成プロセスを視覚的に設計し、実行することができます。保存済みのワークフローやデフォルトのワークフローのライブラリも含まれており、効率的な作業が可能になります。

リモートアクセスの設定

Invoke AIをリモートからアクセスできるように設定するには、以下のコマンドを使用します：

invoke.sh --host 0.0.0.0

または

invokeai-web --host 0.0.0.0

これにより、同じネットワーク上の他のデバイスからInvoke AIにアクセスすることができます。

Dockerコンテナの利用

Invoke AIは公式のDockerコンテナイメージをGithub Container Registryで公開しています。CUDAとROCMの両方のイメージが利用可能です。DockerがGPUを使用するように設定されていることを確認し、必要なフラグを付けてコンテナを実行します：

docker run --runtime=nvidia --gpus=all --publish 9090:9090 ghcr.io/invoke-ai/invokeai

これにより、Invoke AIを簡単にデプロイし、異なる環境間での一貫性を確保することができます。

倫理的配慮と最新の動向

最新の研究によると、AIによる画像生成技術の進歩に伴い、倫理的な問題や著作権の課題が浮上しています。Invoke AIを使用する際は、生成された画像の使用目的や影響を慎重に考慮する必要があります。また、AIによる画像生成が芸術や創造性に与える影響についても議論が活発化しています。

最近の傾向として、AIモデルの学習データセットの透明性や、生成された画像の出所を明確にするための取り組みが進んでいます。Invoke AIコミュニティでも、これらの課題に対応するためのガイドラインや機能の開発が進められています。

まとめ

Invoke AIを使ってLoRAやControlNetを活用することで、あなたの創造性をさらに広げることができます。最新の機能を積極的に試し、素晴らしい作品を生み出してください。また、プロフェッショナルエディションの機能も充実しているため、ビジネス利用においても高い価値を提供できるでしょう。Invoke AIは、オープンソースの精神を大切にしながら、プロフェッショナルな創作活動とビジネスニーズの両方に応える革新的なプラットフォームとして進化を続けています。

技術の進歩とともに、AIによる画像生成の可能性は日々拡大しています。しかし、その使用には責任が伴うことを忘れずに、倫理的な配慮と創造性のバランスを取りながら、Invoke AIの可能性を最大限に活用してください。

参考文献

  1. Invoke AI 公式GitHub リポジトリ (アクセス日: 2024-07-27)

  2. Invoke AI 公式ウェブサイト (アクセス日: 2024-07-27)

  3. InvokeAI Docker コンテナ (アクセス日: 2024-07-27)

  4. Invoke AI プライシング (アクセス日: 2024-07-27)

  5. Revolutionizing Image Generation and Editing: Explore Invoke AI (アクセス日: 2024-07-27)

いいなと思ったら応援しよう！