マガジンのカバー画像

3DCG / Motion

25
運営しているクリエイター

#LLM

【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

【3D×LLMメモ2】Blenderの操作をLLMに手伝ってもらう(VRMの修正)

以下の記事で、モーションの更新を試したが、モデル自体の更新が可能か挑戦する。

環境構築

VRM修正用のスクリプトの作成

以下のスクリプトをBlender上で実行し、VRMが保持しているオブジェクトの情報を抽出する。

import bpyimport osoutput_folder = r"C:\Users\XXXXX\20241005_blender"output_file = os.pa

もっとみる
【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

【3D×LLMメモ1】Blenderの操作をLLMに手伝ってもらう(VRMAの修正)

VRMAをLLMが出力したスクリプトを使って、Blenderで修正することができたので、その手順を紹介する。

今回は指の修正しただけなので、全身の修正などを行う場合は、調整に時間がかかると思われる。

Blenderの環境構築

Blenderをダウンロードする。(できればv4.2.0以上)

アドオンをダウンロードするため、以下のページを表示する。

以下のようなページが表示される。

少し画

もっとみる
3Dポイントクラウドデータの理解を目指した大規模言語モデル PointLLM

3Dポイントクラウドデータの理解を目指した大規模言語モデル PointLLM

PointLLMはオブジェクトのカラーポイントクラウドを理解することができるマルチモーダル大規模言語モデルです。このモデルは、あいまいな深度、遮蔽、視点依存性の心配なく、オブジェクトの種類、幾何学的構造、および外観を認識します。2段階のトレーニング戦略を可能にするために、66万件のシンプルなポイント・テキスト指示ペアと7万件の複雑なポイント・テキスト指示ペアからなる新しいデータセットを収集しました

もっとみる
MotionGPT で作ったモーションを任意の 3D モデルに割り当てて動かす

MotionGPT で作ったモーションを任意の 3D モデルに割り当てて動かす

MotionGPT でモーションを生成し、Blender 上で 3D モデルに適用して動かしてみた。

モーション生成概要

テキストからモーションを生成する技術。
行動を表すテキストを再現するようなモーションが得られる。

様々な手法

Motion Diffusion Model や text-to-motion 等様々な手法があり、Awesome-Video-Diffusion リポジトリに

もっとみる