sho

テクノロジーとアート系が趣味です。

sho

テクノロジーとアート系が趣味です。

  • ComfyUI

    ComfyUIに関する記事をまとめました

ComfyUIでカスタムノードをインストールした後に起動できなくなる問題

投稿日：2024/09/06 (この記事はWindows前提の内容です。コマンドラインの知識がいります。) 以前からカスタムノードの追加した後、ComfyUIが起動しなくなる事がけっこうあり、そのたびに新しいComfyUIを再インストールしていたが それも面倒になってきたのでエラーを修正しようと試みました。 以下がエラー内容。 line 305, in _lazy_init raise AssertionError("Torch not compiled with

sho

    • ComfyUIでFlux.1のGGUFを試してみる(Schnell 4STEP版)

      前回： 今回使うのがこのモデルで、名前の通りSchellにDevの一部をマージしたモデルのようです。 あくまでSchellらしくで4ステップでいけるのでかなり早く生成できそうです。 その下がオリジナルで、GGUFではないほう。 ワークフロー １枚５秒。早い。 ここまで早いと生成意欲がでます。 (生成が遅いとやる気が萎えます。) ４枚で出してみました。19秒。 こっちがもとのSchnellで、メモリがモデル読み込み時に50GB以上食っていたし、生成が9秒。 16枚でも

      sho

      • ComfyUIでFlux.1のGGUFを試してみる

        今回使用するカスタムノードです。 ワークフローはいたってシンプルです。 ほとんどデフォルトのままワークフローが使えます。 stepが20になっていますがいろいろ調整してみてください。 GGUFモデル 以下のモデルをダウンロードして解凍します。 フォルダ内のggufファイルを取り出しmodels/unetに入れます。 生成中の状態↓ 適当にやってみたけど思った以上にいい感じです。 768*1024や1024*768でもいい感じです。 関連：

        sho

        • ComfyUIでパーティクルモーフィングアニメーション

          パーティクル部分をマスクにして元動画にエフェクトを上書きするような効果があります。 以下は今回使うカスタムノードです。 投稿日(2024/08/18) 結果的に以下の環境で1つの動画を1分ほどで生成できました。 使用したVRAMは12GB程です。 筆者環境： Windows11 RTX4070ti 16GB 普段使っているcu121ではうまくいかず以下のcu124の最新版を使いました。 ComfyUI_windows_portable_nvidia_cu124_or_cp

          sho

        • ComfyUIでカスタムノードをインストールした後に起動できなくなる問題

          sho

        • ComfyUIでFlux.1のGGUFを試してみる(Schnell 4STEP版)

          sho

        • ComfyUIでFlux.1のGGUFを試してみる

          sho

        • ComfyUIでパーティクルモーフィングアニメーション

          sho

        マガジン

        • ComfyUI
          15本

        記事

          JSONスキーマの書き方が分からないからChatGPTに書かせてみた。

          OpenAIのAPIで、Structured Outputsという機能が使えるようになったので試してみました。 必ず決まったJSONデータの形式で返答してくれるようで、非常に便利そうです。 PLAYGROUNDの中でも使えるになっていて、今回はそれを使います。 JSONスキーマの内容を書くようですが、上のExamplesに数学問題の解答ののサンプルデータがあります。 試しに、これで算数の問題を解いてもらいます。 そうすると以下のようなJSONデータで返答されます。 途

          sho

          JSONスキーマの書き方が分からないからChatGPTに書かせてみた。

          sho

          ComfyUIでFLUX.1モデルを動かす。

          FLUX.1モデルの導入時に躓いたのでメモしておきます。(2024/8/2) 筆者環境： Windows11 RAM 80GB i7-12700F RTX4070ti 16GB 後述しますが、RAMを激しく食います。 (注意！)ComfyUIのダウンロード筆者が普段使っているバージョンのComfyUIで試そうとしたら、 SamplerCustomAdvancedとBasicGuiderとRandomNoiseというノードが足りないという表示が出ました。 カスタムノードか

          sho

          ComfyUIでFLUX.1モデルを動かす。

          sho

          ComfyUIで モーフィングアニメーション(ipiv's Morph)

          複数のリファレンス画像を連結した高品質なモーフィングアニメーションが作れます。 以下のcivitaiのページにワークフローがあります。 この記事では、RTX4070ti 16GBで生成しています。 最終的に4倍アップスケールされたHD動画が生成されますが、おそらくVRAM16GBモデルじゃないと、アップスケーリングは重いだろうと思います。VRAMが少ない場合はアップスケールノードをミュートしてください。 RTX4070ti 16GBだと1920*1920の動画も作れました

          sho

          ComfyUIで モーフィングアニメーション(ipiv's Morph)

          sho

          ComfyUIでAnimateDiff-MotionDirector

          AnimateDiffのオリジナルのモーションloraを作ろうと思い以下のカスタムノードを使い、トレーニングしてみた。 ComfyUI-ADMotionDirector トレーニング環境だが、結構スペックが必要になる。 Google Colabで16GBのT4では、GPU不足になった。 なのでL4を使ってみた。 やっていて思ったのがVRAMが少ないゲーミングGPUを使ったローカル環境よりGoogle Colabを使った方がいいと思う。 （後述するがフレーム数を下げれば16G

          sho

          ComfyUIでAnimateDiff-MotionDirector

          sho

          babylon.jsをTypeScriptで使う雛型

          まずプロジェクトフォルダを作り、以下のコマンドで初期化。 必要なものをインストールする。 cd [project directory name]npm initnpm install webpack webpack-cli webpack-dev-server --save-devnpm install typescript ts-loader --save-devnpm install @types/babylonjs @babylonjs/core tsconfig.

          sho

          babylon.jsをTypeScriptで使う雛型

          sho

          ComfyUIでWonder3Dを動かす

          ComfyUI-3D-Packの中の、Wonder3Dを試そうとしてハマったのでメモ。 こちらの記事はWindowsのみです。 VRAMが8GBのGPUだとメモリー不足で動きませんでした。 タスクマネージャーの表示で10GB程度使っているのでそれ以上のGPUがいります。(筆者環境：4070ti super) これがワークフロー↓ https://github.com/MrForExample/ComfyUI-3D-Pack/blob/main/_Example_Workfl

          sho

          ComfyUIでWonder3Dを動かす

          sho

          ComfyUIでAniportraitを試してみた

          chaojieのComfyUI-AniPortraitをインストールしたがうまく動かなかったが frankchiengのComfyUI_Aniportraitが使えた。 この記事の内容を行うとVRAM使用量が12GBなので、それ以上のグラボが必要です。 <筆者環境   win10    RTX4070ti    ComfyUI: 2045[b7b559](2024-03-04)> インストールまずgit cloneするかComfyUI Managerからインストールする

          sho

          ComfyUIでAniportraitを試してみた

          sho

          ComfyUIでオリジナル統合ノードを作る

          組み立てたノードを使いまわす場合は、通常は下記のようなテンプレートを作成するが、それ以外にオリジナルノードを作る事も出来る。 基本はテンプレートと同じです。 例えば以下のようなIP Adapterのノードのかたまりがあります。 上記のノードを全選択して、ノードの無い部分を右クリックでメニューを出します。 "Convert to Group Node"を押して名前を付けます。 統合されたノードの完成 凄く簡素化されます。 プロンプト部分も合体しました。 ノードリス

          sho

          ComfyUIでオリジナル統合ノードを作る

          sho

          Windowsでvoicevox_coreをPythonで動かす

          Windowsでvoicevox coreをPythonで使う際に、 ハマってしまったのでメモ。 https://github.com/VOICEVOX/voicevox_core ライブラリのダウンロード通常通り、Cドライブ直下かユーザー直下に PowerShellを立ち上げて以下の命令を打つ。 voicevox_coreというフォルダとdownload.exeが作られる。 voicevox_coreは作業ディレクトリにする。 > Invoke-WebRequest

          sho

          Windowsでvoicevox_coreをPythonで動かす

          sho

          ComfyUIでまとめて画像加工する

          ComfyUIを編集ツールの側面をまとめてみました。 画像生成AIの学習やLora学習をする際の画像データ加工に使える内容です。 最初にこの記事ではVideo Helper SuitのLoad imagesを使います。 Load imagesのディレクトリにソース画像フォルダを指定して、Save Imageに、"出力フォルダ名 / ファイル名"を指定します。 (load imagesのディレクトリ内の画像ファイルは縦横サイズがバラバラのファイルを入れるとエラーが出ます。例

          sho

          ComfyUIでまとめて画像加工する

          sho

          ComfyUIでTripoSRで3Dオブジェクトを作る。

          (初回投稿日：2024/03/07) (改訂日：2023/03/10) TripoSRを使って3Dオブジェクトを生成してみる。 ComfyUI-3D-Packというノードを使う。 新しいバージョンのものが必要になるので新しいComfyUIの環境を作ったほうが良い。 （既存の環境をいじってハマってしまった、、、。毎度同じ過ちを繰り返している。） ・インストール最新のComfyUI >> 2045[b7b559](2024-03-04) をインストールする。 その後、Comf

          sho

          ComfyUIでTripoSRで3Dオブジェクトを作る。

          sho

          ComfyUIのノードの所属パッケージ名を知る

          新しくComfyをインストールし直した時や、ノード名が分かるが 属するパッケージ(カスタムノード)の名前が分からなくて、過去のワークフローを探したりと困る時がある。 ノードがどのパッケージに属しているか表示させることが出来る。 メニュー画面のBadgeで、"Badge: Nickname (hide built-in)"を選ぶと パッケージ名が表示される。 "Badge: Nickname"のほうを選ぶと、ComfyUIの最初から入っているノードに狐のロゴが表示される。

          sho

          ComfyUIのノードの所属パッケージ名を知る

          sho