見出し画像

Step 2: Run it!

guruguruhyena

ステップ2：実行してください！

パラメータを編集するか、保存されたパラメータをロードしてから、モデルを実行します。

＃@ title＃2.1パラメータ：

Prompts:
scenes:
scene_prefix: 
scene_suffix:
interpolation_steps:1000
steps_per_scene6010
Image Prompts:
direct_image_prompts:ここに text を挿入
Initial image:
init_image:ここに text を挿入
direct_init_weight:ここに text を挿入
semantic_init_weight:ここに text を挿入

Image:
Use image_model to select how the model will encode the image

image_model:VQGAN


width:180
height:112
pixel_size4
smoothing_weight:0.02
VQGAN specific settings:

vqgan_model:

sflckr
Limited Palette specific settings:

random_initial_palette:

palette_size:6
palettes:9
gamma:1
hdr_weight:0.01

palette_normalization_weight:0.2
show_palette:

target_palette:ここに text を挿入
lock_palette:



Animation:
animation_mode:3D
sampling_mode:bicubic
infill_mode:wrap
pre_animation_steps:100
steps_per_frame50
frames_per_second:12

Stabilization Weights:
direct_stabilization_weight:ここに text を挿入
semantic_stabilization_weightここに text を挿入
depth_stabilization_weight:ここに text を挿入
edge_stabilization_weight:ここに text を挿入

flow_stabilization_weight is used for animation_mode: 3D and Video Source

flow_stabilization_weight:ここに text を挿入

Video Tracking:
Only for animation_mode: Video Source.

video_path:
ここに text を挿入
frame_stride:
1
reencode_each_frame:

flow_long_term_samples:
1

Image Motion:
translate_x:
-1700*sin(radians(1.5))
translate_y:
0
..._3d is only used in 3D mode.

translate_z_3d:
(50+10*t)*sin(t/10*pi)**2
rotate_3d must be a [w,x,y,z] rotation (unit) quaternion. Use rotate_3d: [1,0,0,0] for no rotation. Learn more about rotation quaternions here.

rotate_3d:
[cos(radians(1.5)), 0, -sin(radians(1.5))/sqrt(2), sin(radians(1.5))/sqrt(2)]
..._2d is only used in 2D mode.

rotate_2d:5
zoom_x_2d:0
zoom_y_2d:0
3D camera (only used in 3D mode):lock_camera:

field_of_view:60
near_plane:1
far_plane:10000

Output:
file_namespace:default
allow_overwrite:display_every:
steps_per_frame
clear_every:0
display_scale:1
save_every:steps_per_frame
backups:
2**(flow_long_term_samples+1)+1#this is used for video transfer, so don't lower it if that's what you're doing
show_graphs:approximate_vram_usage:


Model:
Quality settings from Dribnet's CLIPIT (https://github.com/dribnet/clipit). Selecting too many will use up all your VRAM and slow down the model. I usually use ViTB32, ViTB16, and RN50 if I get a A100, otherwise I just use ViT32B.

quality	CLIP models
draft	ViTB32
normal	ViTB32, ViTB16
high	ViTB32, ViTB16, RN50
best	ViTB32, ViTB16, RN50x4
ViTB32:

ViTB16:

RN50:

RN50x4:

the default learning rate is 0.1 for all the VQGAN models except openimages, which is 0.15. For the palette modes the default is 0.02.

learning_rate:
model_default
reset_lr_each_frame:

seed:
random_seed
Cutouts:

Cutouts are how CLIP sees the image.

cutouts:
40
cut_pow:
2
cutout_border:
.25
NOTE: prompt masks (promt:weight_[mask.png]) will not work right on 'wrap' or 'mirror' mode.

border_mode:

clamp


＃ image_model | 説明| 強み| 弱点
＃@ markdown --- | -| -| -
＃@ markdown VQGAN | クラシックVQGAN画像| 滑らかな画像| 限られたデータセット、低速、VRAMインテンシブ
＃@ markdown限定パレット| pytti微分可能パレット| 高速なVRAMは `パレット`でスケーリングします| ピクセル画像
＃@ markdown無制限のパレット| シンプルなRGB最適化| 高速でVRAM効率が良い| ピクセル画像

＃@ markdown出力画像の解像度は、高さ$ \ times $ `pixel_size`ピクセルで` width` $ \ times $ `pixel_size`になります。
＃@ markdown VRAMを使い果たす最も簡単な方法は、
＃@ markdown`pixel_size`を$ 1 $に減らさずに `image_model`VQGANを選択することです。

＃@ markdown `animation_mode：3D`の場合、最小解像度は約450 x400ピクセルです。
width = 180＃@ param {type： "raw"}
height = 112＃@ param {type： "raw"}
pixel_size = 4＃@ param {type： "number"}
Smoothing_weight = 0.02 ＃@ param {type ： "number "}
＃@ markdown` VQGAN`固有の設定：
vqgan_model =" sflckr "＃@ param [" imagenet "、" coco "、" wikiart "、" sflckr "、" openimages "]
＃@ markdown`限定パレット `固有の設定：
random_initial_palette = False＃@ param {type： "boolean"}パレットサイズ=
6＃@ param {type： "number"}
パレット= 9＃@ param {type： "number"}
gamma = 1＃@ param {type： "number "}
hdr_weight = 0。

show_palette = False＃@ param {type： "boolean"}
target_palette = ""＃@ param {type： "string"}
lock_palette = False＃@ param {type： "boolean"}
＃@ markdown ---
＃@ markdown＃ ##アニメーション：
animation_mode = "3D"＃@ param ["off"、 "2D"、 "3D"、 "ビデオソース"]
sampling_mode = "bicubic"＃@ param ["bilinear"、 "nearest"、 "bicubic" ]
infill_mode = "wrap"＃@ param ["mirror"、 "wrap"、 "black"、 "smear"]
pre_animation_steps = 100＃@ param {type： "number"}
Steps_per_frame = 50＃@ param {type： "number "}
frame_per_second = 12＃@ param {type：" number "}
＃@ markdown ---
＃@
markdown ###安定化の重み：direct_stabilization_weight = ""＃@ param {type： "string"}
Semantic_stabilization_weight = ""＃@ param {type： "string"}
depth_stabilization_weight = ""＃@ param {type： "string"}
edge_stabilization_weight = ""＃@ param {type： "string"}
＃@ markdown`flow_stabilization_weight`は `animation_mode：3D`と` Video Source`
flow_stabilization_weight = "に使用されます"＃@ param {type：" string "}
＃@ markdown ---
＃@ markdown ###ビデオトラッキング：
＃@ markdown` animation_mode：VideoSource`の場合のみ。
video_path = "test"＃@ param {type： "string"}
frame_stride = 1＃@ param {type： "number"}
reencode_each_frame = True＃@ param {type： "boolean"}
flow_long_term_samples = 1＃@ param {type： "number"}
＃@ markdown ---
＃@ markdown ### Image Motion：
translate_x = "
translate_y = "0"＃@ param {type： "string"}
＃@ markdown `..._ 3d`は3Dモードでのみ使用されます。
translate_z_3d = "（50 + 10t）sin（t / 10pi）** 2"＃@ param {type： "string"}
＃@ markdown`rotate_3d`は `[w、x、y、z]`回転である必要があります（ユニット）クォータニオン。回転しない場合は、 `rotate_3d：[1,0,0,0]`を使用します。
＃@ markdown回転クォータニオンの詳細については、こちらをご覧ください。
rotate_3d = "[cos（radians（1.5））、0、-sin（radians（1.5））/ sqrt（2）、sin（radians（1.5））/ sqrt（2）]"＃@ param {type： "string "}
＃@ markdown` ..._ 2d`は2Dモードでのみ使用されます。
rotate_2d = "5"＃@ param {type： "string"}
Zoom_x_2d = "0"＃@ param {type： "string"}
Zoom_y_2d = "0"＃@ param {type： "

lock_camera = True＃@ param {type： "boolean"}
field_of_view = 60＃@ param {type： "number"}
near_plane = 1＃@ param {type： "number"}
far_plane = 10000＃@ param {type： "number "}

＃@ markdown ---
＃@ markdown ###出力：
file_namespace = "default"＃@ param {type： "string"}
if file_namespace == ''：
file_namespace = 'out'
allow_overwrite = False＃@ param {type： "boolean"}
base_name = file_namespace
if not allow_overwrite and path_exists（f'images_out / {file_namespace} '）：
_、i = get_last_file（f'images_out / {file_namespace}'、
f '^（？P <pre> {re。 escape（file_namespace）} \（？）（？P <index> \ d *）（？P <post> \）？1 \ .png）$ '）
if i == 0：
print（f "WARNING：file_namespace { file_namespace}にはすでに実行0からの画像があります）
elif iはNoneではありません：
print（f "警告：file_namespace {file_namespace}には、実行0から{i} "までの画像が既に含まれています）
elif glob.glob（f'images_out / {file_namespace} / {base_name} *。png '）：
print（f "警告：file_namespace {file_namespace}には上書きされる画像があります"）
try：
del i
del _（
NameErrorを除く）：
pass
del base_name
display_every = Steps_per_frame＃@ param {type： "raw"}
clear_every = 0＃@ param {type： "raw"}
display_scale = 1＃@ param {type： "number"}
save_every = Steps_per_frame＃@ param {type： "raw"}
backups = 2 **（flow_long_term_samples + 1）+ 1＃これはビデオ転送に使用されるため、それを実行している場合は下げないでください＃@ param {type： "raw"}
show_graphs = False ＃@ param {type： "boolean"}
approx_vram_usage = False＃@ param {type："ブール値"}

＃@ markdown ---
＃@ markdown ###モデル：
＃@ markdown DribnetのCLIPIT（https://github.com/dribnet/clipit）の品質設定。
＃@ markdown選択が多すぎると、すべてのVRAMが使い果たされ、モデルの速度が低下します。
＃@ markdown A100を入手した場合は通常ViTB32、ViTB16、RN50を使用しますが、それ以外の場合はViT32Bを使用します。

＃@ markdown品質| CLIPモデル
＃@ markdown --- | -
＃@ markdownドラフト| ViTB32
＃@ markdown通常| ViTB32、ViTB16
＃@ markdown high | ViTB32、ViTB16、RN50
＃@ markdownベスト| ViTB32、ViTB16、RN50x4
ViTB32 = True＃@ param {type： "boolean"}
ViTB16 = False＃@ param {type： "boolean"}
RN50 = False＃@ param {type： "boolean"}
RN50x4 = False＃@ param {type： "boolean"}
＃@ markdownデフォルトの学習率は、openimages（ `0.15`）を除くすべてのVQGANモデル
＃@ markdownで` 0.1`です。パレットモードの場合、
＃@ markdownのデフォルトは `0.02`です。
Learning_rate = model_default＃@ param {type： "raw"}
reset_lr_each_frame = True＃@ param {type： "boolean"


＃@ markdownカットアウト：

＃@ markdownカットアウトは、CLIPが画像を認識する方法です。cutouts
= 40＃@ param {type： "number"}
cut_pow = 2＃@ param {type： "number"}
cutout_border = .25＃@ param {type： "number"}
＃@ markdown注：プロンプトマスク（ `promt ：weight_ [mask.png] `）は、 '` wrap`'または '`mirror`'モードでは正しく機能しません。
border_mode = "clamp"＃@ param ["clamp"、 "mirror"、 "wrap"、 "black"、 "smear"]

シードがNoneの場合：
seed = random.randint（-0x8000_0000_0000_0000、0xffff_ffff_ffff_ffff）
locals_after = locals（）。copy（）
for k in locals_before.keys（）：
del locals_after [k]
del locals_after ['locals_before']
return locals_after

params = Bunch（define_parameters（））
print（ "SETTINGS："）
print（json.dumps（params））

この記事が気に入ったらサポートをしてみませんか？