ClipMatrix:
ClipMatrixの概要：テキスト制御の3Dメッシュの変形とスタイル設定。
新しいタイプのテキスト制御AIジェネレーティブアート：テキストを与え、そこから3Dテクスチャ形状を取得します。このコードは私の最近の論文に大まかに基づいていますが、内部にはさらに多くのトリックがあります。
あなたからの入力：
メッシュテンプレートの開始
CLIPによって解釈されるテキストプロンプト
出力：生成されたメッシュのビデオ。デフォルトではclip_videosフォルダーに保存されます
クールな機能：
私のアカウントでアートワークとインスピレーションを確認してください@NJetchev
開始形状の任意のテンプレートメッシュのサポート
微細部品制御の対象領域を定義する
シャドウマッピング
通常マッピング
高度なアニメーション効果のためのニューラルシェーダー
3Dメッシュファイルをエクスポートして、3Dプリンターサービスで作品を印刷できます
使用されたライブラリとレファレンス：かなり多くありますが、私は最も感謝しています
OpenAIのCLIP
MetaのPytorch3D
この論文の著者
SMPLの研究者、サンプルの静的model.objは、研究目的でWebサイトから取得されます。
このコードのUIの役立つ提案とテストについては@nonlethalcode
Open_ClipMatrixの次のアップデートの私の計画は何ですか：
このコードは、最近のClipMatrixCreaturesアートプロジェクトに関連しています。よろしければ、NFTクリーチャーの所有者は、ClipMatrixツールの新しいバージョンへの以前の排他的アクセスを取得します
現在、内部にはリギング可能なモデルはなく、静的テンプレートのみがあります。将来的に追加する可能性がありますが、まだ定かではありません。コードが複雑になり、実行時間が大幅に増える可能性があります。
このバージョンでは、楽しくて速く遊ぶことができる小さくて機敏なデモに焦点を当てました。
//////////////////////////////
手順：ユーザーが調整する設定
注：このバージョンでは、設定が比較的低いレベルに設定されているため、p100などの弱いGPUでもすぐに使用できます。16 GB以上のGPUメモリを備えた優れたマシンを使用している場合は、テクスチャサイズ、メッシュの細分割など、より高い値に設定します。
展開するメッシュがどれほど強力で詳細になるか、および出力ビデオを保存する前にメッシュを計算する期間を決定できます。
Introduction to ClipMatrix: text controlled 3D mesh deformation and stylization.
A novel type of text controlled AI generative art: you give a text and get a 3D textured shape from it. This code is loosely based on my recent paper, but has many more tricks inside. Feel free to play with it, make art or even better: experiment with new ML techniques based on it. Please cite my twitter account @NJetchev or the paper when using this code, posting artwork from it or modifying it.
Inputs from you:
starting mesh template
text prompt to be interpreted by CLIP
Outputs: videos of the resulting generated mesh. by default saved in clip_videos folder
Cool features:
check my account for artwork and inspiration what is possible @NJetchev
support for arbitrary template meshes for starting shapes
define regions of interest for fine part control
shadow mapping
normal mapping
neural shaders for advanced animation effects
you can export the 3D mesh file and print your work in a 3D printer service
Libraries and references used: quite many, but I am most thankful to
OpenAI's CLIP
Meta's Pytorch3D
the authors of this paper
the researchers of SMPL , the sample static model.obj is taken from their website for research purposes
@nonlethalcode for helpful suggestions and testing of the UI of this code
What is my plan for next updates of Open_ClipMatrix:
this code is related to the recent ClipMatrix Creatures art project. If you appreciate it, holders of NFT Creatures will get earlier exclusive access to new versions of the ClipMatrix tool
currently there are no riggable models inside, just static templates. I may add them in the future, not certain yet. It can complicate the code and increase runtimes a lot.
In this version I focused on a small and agile demo that is fun and fast to play with.
//////////////////////////////
Instructions: settings to tune by User
Note: this version has settings set to relatively low levels, so that it works out of the box even for weaker GPUs like p100. If you have a good machine with 16 GB or more GPU memory, set them to higher values, e.g. texture size, mesh subdivision, etc.
You can decide how powerful and detailed the mesh you evolve will be, and how long you will compute it before saving the output video