背景が作れない話
こんにちは
prompt-travelの魔改造を行っています。
何をしたいかというと、設定１発で動画を作れるようにしてます。
その際に、背景と前景を別々に作って重ねたらよくね？というアイデアがあるのですが、この背景動画の作成で大分ハマったのでメモしておこうかなと。
やりたいこと
人がいない背景だけの動画を作りたい。 たとえばビーチで波がパシャパシャ揺れてるのとかそういうイメージです。
Text 2 Videoで適当にNo humanとか入れたらできるっしょ！と思ってやってみたんですが…
え！？
なんで？！ なんでかキレイなビーチが描きだせない…
確かに今まで人が入った絵で、背景を出したことはあったけど、単品で海の絵とか描いたことはなかった気がした。
最初はLCM LoRA使ってたからStep数とかの問題かと思って色々パラメタ変えて試したけどそうでもなさそう…
なので、とりあえずStableDiffusionを起動してやってみた（めんどくさかった）
なんかもはや人っぽいのも表示されてる、これは、もしかしてモデルが問題？！
背景専用のモデルを落として来たらいいのかな？…
よし、これらを使えばきっといい感じになるはず？
えー 全然意味わかんない。なにやってもまともな絵が出てこない…
これはもしかしてモーションモジュールが人用にトレーニングしているからこんな結果になってる？！
その後死ぬほどいっぱい作ってもなーんかうまくいかない。
人が入らないとこんなに難しいんだっけ？…と途方に暮れながらパラメタを変更しては確認…変更しては確認…
たくさん作って浮かんできた疑問点がこちら
StepとかCFGとかの問題ではなくなんかもっと根本的
gradual_latent_hires_fixもたぶん関係ない
モデルの相性はあるのかもだが、背景に強いモデルでもダメ
人が入ると背景はキレイなんだけどSDほどキレイにはならない（なんで？）
で、思ったのが
モーションモジュールが入るから人が入らないとだめ？
というのも、モーションモジュールってなんかトレーニングして作ってるらしいし、そもそもその前後の情報を読み取ってなんかするためのモジュール。
という事は、そういう情報入ってる分背景とかクソなんじゃないかなと勝手に解釈
あと、prompt-travelの作者のサイトもこんな風に背景作ってる
これ、そもそもt2vで作れるならその方が楽じゃね？と思うので多分これは…そういう風に作るのはむずいよってこと？！w
なら、静止画の出力の仕方で１枚プロンプトから作って、それを適当に動かせばよくね？と思ったりした。（prompt-travel内で）
でも実装めんどくさいから未来のタスクにして、しょうがないからi2iで手持ちの画像でやってみるか…
全然できねぇぇぇぇえ！！！！
もうこの記事というかメモだけで２日経ってるし…
１００回以上不毛な動画を作っている…
とりあえず背景は元動画の背景を合成する事で我慢しよう。
最悪その後Refineすれば良いしね…
誰か、背景だけの動画キレイに作れる人いたら作り方教えてください！
今日はもう寝ます…