混合順

■Qiita https://qiita.com/kongo-jun

混合順

■Qiita https://qiita.com/kongo-jun

Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ６）

試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 フレーム分割 動画から画像に分割するためにFFmpegを使うので、FFmpegを導入する。 FFmpegを使って、動画をフレームごとにpngファイルに分割する。 ffmpeg -i input.mp4 -vf "fps=30" frame_%04d.png Stable Diffusionでim

混合順

    • DifyでLLMが出力したプログラムをローカルで実行

      以下のQiita記事で、DIfyでLLMが出力したテキストを、ローカルに保存する手順を紹介している。 この記事では、ローカルに保存したプログラムをDifyから呼び出し、ローカルで実行するフローを作成する。 workflow以下のようなフローを構築する。 このフローで行われる処理をフロー図で表すと以下のようになる。 環境構築以下の記事の環境構築を行う。 （WIndowsであれば、基本的に１コマンドで構築可能な想定。pythonとDifyは別途インストールが必要） Di

      混合順

      • Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ５）

        試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 今回紹介するAnimateDiffで作成した動画はこんな感じ。 ControlNet depthのモデルは以下から「diffusers_xl_depth_full.safetensors」をダウンロードする。 https://huggingface.co/lllyasviel/sd_control

        混合順

        • Vroidの動画をフレームごとに分割して、img2imgしてつなぎ合わせ（メモ１）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 こんな感じの動画が作成できる。 フレーム分割 動画から画像に分割するためにFFmpegを使うので、FFmpegを導入する。 FFmpegを使って、動画をフレームごとにpngファイルに分割する。 ffmpeg -i input.mp4 -vf "fps=30" frame_%04d.png St

          混合順

        Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ６）

        混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ４）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 今回は２段構成となっている。 ①txt2imgで大量の画像を生成し、無理矢理Vroidの見た目からStable Diffusionで生成した画像に変換する。 ②img2imgで画像をつなぎ合わせた動画をAnimateDiffで動画化する。 ①でtxt2imgで大量の画像を生成し、画像をつなぎ合わせた動

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ４）

          混合順

          DifyでLLM同士の会話を出力

          LLMとLLMで会話が成り立つようにDifyのworkflowを構築してみたので、メモを残しておく。 みはる：ネムル、明日の予定について何するの？ネムル：あ、明日の予定については特にないですよ。みはる：ねえ、特になかったら何かを作ろうよ！ネムル：あ、作るのはいいアイデア！何かを作るのは久しぶりだな。何を作ろうかな？みはる：何を作ろうかな？ゲームを作るのはどうかな？将棋やチェスみたいなものを作るのは面白そう！ネムル：あ、ゲームを作るのはいいアイデア！将棋やチェスみたいなものを

          混合順

          DifyでLLM同士の会話を出力

          混合順

          WebUIでControlNet（Openpose）を使ったSDXLのAnimateDiff（メモ）

          WebUIでOpenposeを試していて、やっと期待していた出力が出てきたので、設定をメモ。 Stable Diffusion上の設定 img2imgで以下のような設定で実行する。 RTX4090で7時間半で出力される。 ポイント インプットとなる、動画の被写体の大きさで、出力される動画の質がまったく違う。 「画像に対して被写体が大きい」で出力すれば、ページ上部の動画のように、質の高い動画が出力できるが、「画像に対して被写体が小さい」で出力すると、質が落ちると感じ

          混合順

          WebUIでControlNet（Openpose）を使ったSDXLのAnimateDiff（メモ）

          混合順

          ComfyUI・SDXL・AnimateDiffの高解像度・高フレームレートの動画作成（別パターン）

          以下の記事で、SDXLモデルを使ったAnimateDIffの動画を高解像度・高フレームレートで出力する手順を紹介している。 この記事では、「AnimateDiff Loader」ノードの「beta_schedule」を「LCM」に変更した時の出力もオススメのため、それを紹介する。 ワークフロー 上記のワークフローのjsonファイル。 Qiita側のワークフローのjsonファイル。 結果 RTX 4090であれば、生成時間は20～30分で出力される。

          混合順

          ComfyUI・SDXL・AnimateDiffの高解像度・高フレームレートの動画作成（別パターン）

          混合順

          ComfyUIでControlNet（Openpose）を使ったSDXLのAnimateDiff（メモ）

          初めてSDXLのAnimateDiff成功したので、メモを残す。 ワークフロー Motion Module SDXLのControlNet Model 結果

          混合順

          ComfyUIでControlNet（Openpose）を使ったSDXLのAnimateDiff（メモ）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ３）

          試したStable Diffusionの設定をメモする。 一応AnimateDiffの構築手順 以下みたいな手順でAnimateDiffとControlNetの環境を構築する。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 こんな感じの動画が作成できる。 Stable Diffusion上の設定 txt2imgで以下のような設定で実行する。 結果 こんな感じの動画が出力される。

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ３）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ２）

          試したStable Diffusionの設定をメモする。 一応AnimateDiffの構築手順 以下みたいな手順でAnimateDiffとControlNetの環境を構築する。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 こんな感じの動画が作成できる。 Stable Diffusion上の設定 img2imgで以下のような設定で実行する。 ControlNetのPreprocessorを色々変

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ２）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ１）

          試したStable Diffusionの設定をメモする。 一応AnimateDiffの構築手順 以下みたいな手順でAnimateDiffとControlNetの環境を構築する。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 こんな感じの動画が作成できる。 Stable Diffusion上の設定 txt2imgで以下のような設定で実行する。 （Xのテキストは見逃していただいて、）こんな感じの動画

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ１）

          混合順