AnimateDiff-MotionDirectorのトレーニングpromptについて

はじめに

AnimateDiff-MotionDirectorの学習設定ファイルには、「training_prompt」という項目があります。これが学習結果にどう影響するのか、何を書けばいいのか、を検証していきます。

# Describe your action with a simple prompt.
 training_prompt: "A woman is taking steps."

今回つかわせていただいた学習素材

videoACさんからお借りしました。「麦わら帽子を持つ女性」という動画です。
https://video-ac.com/video/425

比較条件

LoRAなし
LoRAあり（training_prompt: "A woman is taking steps."）
LoRAあり（training_prompt: ""）

比較結果

うーん。どう解釈するのがいいだろう？
他の学習データでも比べてみるべきだろうか。

試してみたいことメモ

• SpatialのLoRAって、普通に静止画でも使えるんだっけ？

• 別学習データからのSpatialとTemporal混ぜるとどうなるんだっけ？

• LoRAmergeするとどうなるの？