混合順

■Qiita https://qiita.com/kongo-jun Ｘだと記事よりもリアルタイムに色々発信中！ フォローしてね〜

混合順

■Qiita https://qiita.com/kongo-jun Ｘだと記事よりもリアルタイムに色々発信中！ フォローしてね〜

Unityでパノラマ背景投影【Unity作業メモ】

以下のQiitaのような背景をUnityでも表示しようと思うと、少し手順がめんどくさかったので、メモしておく。 最終的には以下のような形になる。 残念ながら角度によって、一部接合部がある。 HDR拡張ファイルを以下の状態でインポートしているところから手順を紹介する。 HDRファイルはQiitaに作成手順を紹介していますが、sampleを置いておきます。 １．スカイボックスマテリアルの作成:1-1. Project ウィンドウで右クリック > Create > Mat

混合順

    • 【しばらく有料】VRoidのアニメーションをSDXL×AnimateDiff×ControlNetでアニメ風

      個人的には在り来たりになってきたタイトルですが、SDXLの絵柄の良さをできるだけ活かしつつ、「一貫性の維持」や「破綻の軽減」を実現した現状の結論設定が見えてきたため、設定を記載しておきます。 今回の設定であれば、以下のような動画が生成可能です。 元はVRoidを使った3Dの動画で、それを今回紹介する手順でアニメ風に加工しています。 以下が元動画。 全身だと、ぎりぎり。 複雑な服装・激しい動きにもある程度対応可能です。 これまでSD1.5やSDXLで同じようなお題に挑

      ¥0〜
      割引あり
      混合順

      • 【しばらく有料】Unity初心者がVRMにFBXのモーションをつけるまで

        LLMや画像生成AIの登場で生成AIが飛躍的に広がっているが、現状まだキラーコンテンツが出ていない。 ただ、3Dと生成AIとのシナジーは非常に高いと考えている。 3Ⅾが民主化されると予想。 3Dが生成AI以前に流行っていない理由はざっくり以下とする。 ・専門知識が多い ・GPUなどハードウェア面 ・プログラミングスキルが必要 ・モーションや3Dオブジェクト、3Dモデルを作成するのが手間 しかし、生成AIの登場で上記はほとんど解決できる。 ・専門知識が多い　→　LLM ・G

        ¥0〜
        割引あり
        混合順

        • 【しばらく有料】ComfyUIでMulti-ControlNetのAnimateDiff

          ComfyUIで複数のControlNetを使ったAnimateDiffのworkflowを作成したので、紹介します。 （無料でナレッジ記事を投稿していましたが、モチベーション切れのため、しばらく有料記事で投稿します。） 以下のようなcannyとdepthのControlNetを使ったworkflowが構築可能です。 前提として、この手順はかなりハイスペックなPCが必要になるため、PCのスペックが足りない場合は、手順を実施しても生成できない可能性が高いです。 また、ほ

          ¥0〜
          割引あり
          混合順

        • Unityでパノラマ背景投影【Unity作業メモ】

          混合順

        • 【しばらく有料】VRoidのアニメーションをSDXL×AnimateDiff×ControlNetでアニメ風

          ¥0〜
          混合順

        • 【しばらく有料】Unity初心者がVRMにFBXのモーションをつけるまで

          ¥0〜
          混合順

        • 【しばらく有料】ComfyUIでMulti-ControlNetのAnimateDiff

          ¥0〜
          混合順

          Blenderで複数VRMAの統合・修正・出力

          Blenderのスクリプトを使って、２つのVRMAを加工して、１つのVRMAと出力できたので、そのスクリプトを残しておく。 環境構築 以下の記事などを参考に、Blenderの環境構築を実施する。 スクリプト ２つのVRMAを統合する。 「BLANK_FRAMES = 30」についてはつなぎのフレームのため、不要であれば「0」にする。 import bpy# VRMファイルのパスvrm_file_path = r"C:\Users\XXXXX\XXXXX.vrm"#

          混合順

          Blenderで複数VRMAの統合・修正・出力

          混合順

          背景ありのVRoidアニメーションをAnimateDIff

          これまで背景とVRoidを分けてAnimateDiffしていたが、背景とVRoidを同時にAnimateDiffできることがわかったので、最適な「Denoising strength」を調査してみる。 その他手順 以下の手順でアニメーションを作成する。 以下の手順でアニメーションをアニメ風に変換する。 （この手順は背景を意識しない手順だが、同じ設定で背景も対応可能） 検証結果 今回は「Denoising strength」を「0.5」「0.55」「0.6」「0.65

          混合順

          背景ありのVRoidアニメーションをAnimateDIff

          混合順

          Blenderで球体の中にHDR画像を貼り付けて、VRMとのアニメーションを作成

          以下のような背景のあるアニメーションを作成する手順を紹介する。 （この手順で出力される背景は、3D的なオブジェクトではないので、複雑なことはできません。） HDR画像を作成 以下の手順を参考に、HDR画像を作成する。 内側にHDR画像を貼り付けた球体を出力 以下のスクリプトをBlenderのスクリプトタブで実行する。 （実行手順も上記のQiita記事を参考にしてください。） import bpyimport mathdef create_hdri_sphere(hd

          混合順

          Blenderで球体の中にHDR画像を貼り付けて、VRMとのアニメーションを作成

          混合順

          【3D×LLMメモ２】Blenderの操作をLLMに手伝ってもらう（VRMの修正）

          以下の記事で、モーションの更新を試したが、モデル自体の更新が可能か挑戦する。 環境構築 VRM修正用のスクリプトの作成 以下のスクリプトをBlender上で実行し、VRMが保持しているオブジェクトの情報を抽出する。 import bpyimport osoutput_folder = r"C:\Users\XXXXX\20241005_blender"output_file = os.path.join(output_folder, "scene_analysis.t

          混合順

          【3D×LLMメモ２】Blenderの操作をLLMに手伝ってもらう（VRMの修正）

          混合順

          【3D×LLMメモ１】Blenderの操作をLLMに手伝ってもらう（VRMAの修正）

          VRMAをLLMが出力したスクリプトを使って、Blenderで修正することができたので、その手順を紹介する。 今回は指の修正しただけなので、全身の修正などを行う場合は、調整に時間がかかると思われる。 Blenderの環境構築 Blenderをダウンロードする。（できればv4.2.0以上） アドオンをダウンロードするため、以下のページを表示する。 以下のようなページが表示される。 少し画面をスクロールし、「Get Add-on」をクリックする。 「+ Drag a

          混合順

          【3D×LLMメモ１】Blenderの操作をLLMに手伝ってもらう（VRMAの修正）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ７）

          試したStable Diffusionの設定をメモする。 動画でも紹介しています。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 ※この手順（bvhを経由する）だと指の情報などが欠落することは認識しているので、bvhを経由しない手順を整理中。 細かい手順 今回はSD1.5のAnimateDiffの設定で、以下の記事はSDXLの設定だが、ほとんど手順は同じなので、足りてない手順は以下を参照。 Web

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ７）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ６）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 フレーム分割 動画から画像に分割するためにFFmpegを使うので、FFmpegを導入する。 FFmpegを使って、動画をフレームごとにpngファイルに分割する。 ffmpeg -i input.mp4 -vf "fps=30" frame_%04d.png Stable Diffusionでim

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ６）

          混合順

          DifyでLLMが出力したプログラムをローカルで実行

          以下のQiita記事で、DIfyでLLMが出力したテキストを、ローカルに保存する手順を紹介している。 この記事では、ローカルに保存したプログラムをDifyから呼び出し、ローカルで実行するフローを作成する。 workflow以下のようなフローを構築する。 このフローで行われる処理をフロー図で表すと以下のようになる。 環境構築以下の記事の環境構築を行う。 （WIndowsであれば、基本的に１コマンドで構築可能な想定。pythonとDifyは別途インストールが必要） Di

          混合順

          DifyでLLMが出力したプログラムをローカルで実行

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ５）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 今回紹介するAnimateDiffで作成した動画はこんな感じ。 ControlNet depthのモデルは以下から「diffusers_xl_depth_full.safetensors」をダウンロードする。 https://huggingface.co/lllyasviel/sd_control

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ５）

          混合順

          Vroidの動画をフレームごとに分割して、img2imgしてつなぎ合わせ（メモ１）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 こんな感じの動画が作成できる。 フレーム分割 動画から画像に分割するためにFFmpegを使うので、FFmpegを導入する。 FFmpegを使って、動画をフレームごとにpngファイルに分割する。 ffmpeg -i input.mp4 -vf "fps=30" frame_%04d.png St

          混合順

          Vroidの動画をフレームごとに分割して、img2imgしてつなぎ合わせ（メモ１）

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ４）

          試したStable Diffusionの設定をメモする。 Vroidを使ったモーション動画作成 Vroidにモーションを与えてVroid HUBの機能で動画を作成する。 今回は２段構成となっている。 ①txt2imgで大量の画像を生成し、無理矢理Vroidの見た目からStable Diffusionで生成した画像に変換する。 ②img2imgで画像をつなぎ合わせた動画をAnimateDiffで動画化する。 ①でtxt2imgで大量の画像を生成し、画像をつなぎ合わせた動

          混合順

          Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ４）

          混合順

          DifyでLLM同士の会話を出力

          LLMとLLMで会話が成り立つようにDifyのworkflowを構築してみたので、メモを残しておく。 みはる：ネムル、明日の予定について何するの？ネムル：あ、明日の予定については特にないですよ。みはる：ねえ、特になかったら何かを作ろうよ！ネムル：あ、作るのはいいアイデア！何かを作るのは久しぶりだな。何を作ろうかな？みはる：何を作ろうかな？ゲームを作るのはどうかな？将棋やチェスみたいなものを作るのは面白そう！ネムル：あ、ゲームを作るのはいいアイデア！将棋やチェスみたいなものを

          混合順

          DifyでLLM同士の会話を出力

          混合順