![見出し画像](https://assets.st-note.com/production/uploads/images/127640188/rectangle_large_type_2_4b807ef5cdf105097e83e9b728365e0d.png?width=1200)
生成AIで試したことまとめるリスト
生成AIで試したことをまとめる用のリストです!
一旦成果物だけまとめてます。色々情報そろえていくかもです。
Motorica Studio
STABLE PROJECTORZ
CRM
SMPLer-X
TripoSR
デモ
頂点カラーをテクスチャに反映させる手法メモ
https://www.reddit.com/r/comfyui/comments/1bczkgj/triposr_convert_obj_vertex_color_to_uv_map_by/
この文章は、Windows コマンドプロンプト(CMD)を使用して、Blenderソフトウェアをバックグラウンドモードで起動し、特定のPythonスクリプトを実行する方法について説明しています。手順は以下のようになります:
コマンドプロンプトを開く:まず、Windowsのコマンドプロンプトを開きます。これは、スタートメニューを右クリックして「コマンドプロンプト」を選択するか、検索バーに「cmd」と入力してエンターキーを押すことで行えます。
Blenderのディレクトリに移動:コマンドプロンプトでBlenderがインストールされているディレクトリ(フォルダ)に移動します。この例では、E:\Blender Foundation\Blender 4.0がBlenderのインストールディレクトリとして使われています。このディレクトリに移動するためには、コマンドプロンプトにcd E:\Blender Foundation\Blender 4.0と入力してエンターキーを押します。
Blenderをバックグラウンドモードで起動:Blenderのディレクトリに移動した後、Blenderをバックグラウンドモードで起動し、特定のPythonスクリプトを実行するコマンドを入力します。この例では、blender.exe --background --python "E:\ComfyUI_windows_portable\ComfyUI\output\VertexToUv.py"がそのコマンドです。このコマンドは以下の要素で構成されています:
blender.exe: Blenderの実行可能ファイル。
--background: Blenderをバックグラウンドモードで起動するオプション。これにより、GUI(グラフィカルユーザーインターフェイス)が表示されずにBlenderが実行されます。
--python "E:\ComfyUI_windows_portable\ComfyUI\output\VertexToUv.py": Blenderに対して、指定されたパスにあるPythonスクリプト(この例ではVertexToUv.py)を実行するよう指示します。
この手順を実行することで、BlenderはGUIを開かずにバックグラウンドで動作し、指定されたPythonスクリプトを実行します。これは、自動化されたタスクやバッチ処理に特に便利です。
Holo-Gen
概要
メッシュのNormal MapとプロンプトからPBRを生成できる技術
PBR(Physically Based Rendering)は、物理法則に基づいたレンダリング技術で、リアルな光の挙動やマテリアルの外見をシミュレートします。この技術は、ゲームやビジュアルエフェクトでリアリズムを高めるために用いられます。
PBRでは、マテリアルはその物理的属性に基づいて表現されます。主な属性には、アルベド(Albedo)、金属度(Metallic)、粗さ(Roughness)などがあります。これらの属性を調整することで、さまざまな種類の素材をリアルに再現できます。
アルベド(Albedo): 表面の基本色を定義し、テクスチャの形でよく使用されます。
金属度(Metallic): マテリアルが金属か非金属かを定義し、金属の場合は1に近い値を、非金属の場合は0に近い値を設定します。
粗さ(Roughness): 表面の滑らかさを定義し、低い値は滑らかな表面を、高い値は粗い表面を示します。
c
論文
![](https://assets.st-note.com/img/1708233077421-s3YQBKiV4Y.png?width=1200)
![](https://assets.st-note.com/img/1708233099373-6XwsnLKvIt.png?width=1200)
![](https://assets.st-note.com/img/1708233112702-LvJqeYRgkx.png?width=1200)
![](https://assets.st-note.com/img/1708233132294-TA8o9JGy0a.png?width=1200)
![](https://assets.st-note.com/img/1708233136113-ECNfkw6Yqb.png?width=1200)
![](https://assets.st-note.com/img/1708233118686-YkoQ6nmKKw.png?width=1200)
MotionCtrl
こちらは #MotionCtrl という動画のカメラや主体に方向性を指定する技術で生成した動画です!カメラに対して"Zoom in"&"Pan Left"を指定してます。
— ニア@AI Art (@Near2847) January 14, 2024
非公式ですがComfyUIでAnimateDiffに適用するノードもあるみたいです!また将来的には公式にAnimateDiffやSVDに対応する予定もあるみたいです! pic.twitter.com/ZpZ5p7As00
TGS
こちらは #TGS という技術でDALLE3で作った1枚の画像を3D化した動画です!この動画とは別に".splat"形式のファイルでも出力できるんですが、使い方が分からない…誰かご存知の方いらっしゃったら教えてください! pic.twitter.com/Aa9N53EEZP
— ニア@AI Art (@Near2847) January 14, 2024
RAVE
こちらは #RAVE というv2v技術で動画の背景を置き換えたものです! "The-truck-is-driving-through-the-desert"というプロンプトだったんですが、思ったよりしっかり砂漠になっててビックリでした!今はComfyUIのノードもあるみたいです!元動画は返信に! pic.twitter.com/zh8hi91hoA
— ニア@AI Art (@Near2847) January 14, 2024
元動画です(元はサーキットを走っている動画でした!) pic.twitter.com/yT73GVVZZ6
— ニア@AI Art (@Near2847) January 14, 2024
PIKA
サービス
こちらも #PIKA で動かしたものです!カメラの"tilt up"がしっかり反映されてます! pic.twitter.com/pNeaF5MbXR
— ニア@AI Art (@Near2847) January 14, 2024
クレジット性になる前に #PIKA で動かしたものから一枚!プロンプト、カメラの移動方向、動きの多さなど色々指定して理想の動画に寄せられる点が圧倒的でしたね! pic.twitter.com/bocvc58WBU
— ニア@AI Art (@Near2847) January 14, 2024
MagicAnimate
#MagicAnimate ローカルで動かせたー!
— ニア@AI Art (@Near2847) December 5, 2023
まだデモ画像でしか試せてないけど、何か他の画像用意して試してみたい! pic.twitter.com/kHCF49aN8x
#MagicAnimate で以前SVDに使った画像を動画化したのですが、何か違うw あといくつか試してみたのですが、顔は結構崩れやすいかもです! https://t.co/W0tIlUA13Z pic.twitter.com/44BqkSj5lh
— ニア@AI Art (@Near2847) December 5, 2023
Stable Video Diffusion
ローカルPC(ComfyUI)
Stable Video Diffusionからお試しで一枚!こちらのredditを参考にして、MBID:100、Augmentation level:0.15で出力すると安定して回転してくれる気がします!モデルはsvd_xt.safetensorsです!https://t.co/lb1YFIb4M5 #SVD #DALLE3 pic.twitter.com/U27SItx6rE
— ニア@AI Art (@Near2847) December 4, 2023
今日もStable Video Diffusionからお試しで一枚!リアル系や3DCG系で、メインの人物に焦点が合っていて、背景との違いが分かりやすい画像だと上手くいきやすいかも?#SVD #DALLE3 pic.twitter.com/JFtT0MAm5U
— ニア@AI Art (@Near2847) November 28, 2023