見出し画像

HunyuanVideoの動画のプロンプトをGPTを使用して作成する

shiba*2

とうやさんのtwitterで共有されていたyachimat-AI Short Animeさんの投稿です。とても勉強になりました。
ここで使用されている「スタニスラフスキーシステム」とか、聞いたことないけどなんだか凄そうですね。

この投稿で動画生成AIでのプロンプト作成例を提案されていましたので、ここからHunyuanVideo向けに調整していく感じで試してみました。

特に通常の画像生成と異なり、動画生成だと時間とともに動きが発生するため、一場面の動きだけのプロンプトだと単調になったりします。
しかし、それを言語化したり、英語で表現したりするのは難しいため、GPTなどのAIに考えてもらうことはとても有用かと思います。

HunyuanVideoで生成する際に注意するところは以下？

①トークン数による制限
②秒数

演技指導後のプロンプトだけだと長すぎたりするので、指定した秒数内でのスムーズな動きの変遷をトークン数内に収めるようにプロンプトを作成してもらう必要があります。

「時間経過を自然に表現するプロンプトに再構築し、時間の流れに沿って、動作や感情の変化が伝わるように調整する」

「Serene Coffee Study」
A girl takes a sip of coffee, the warm steam rising gently. She flips open her notebook, her eyes scanning the pages as she writes. Sunlight filters through the window, casting a cozy glow. The soft piano music in the background enhances the tranquil moment as she fully immerses herself in her studies.

HunyuanVideoは、使用しているLoraとの兼ね合いもありますが、
アスペクト比は重要な印象です。
16:9になる感じのものがよさそうです。

・432 x 768　・480 x 848　・720 x 1280

以下のフローは、添付のアップスケールモデルを追加したものです。

サンプラーはComfyUIに追加された「res_multistep」とスケジューラーはBetaにしています。

この辺りの調整も色々試してみましたが、Fastモデルではないものを使用する際は、このデフォルトの数値でおおむね安定したものが出来る印象です。

通常生成だとフレーム数が多くなるため、時間がかかりますね。アップスケールも。。。。

品質系のプロンプトも入れておいた方が良さそうな感じでしたが、上のはトークン数を超えたものですが、トークン数を超えると破綻しやすくなる可能性もあります。

The girl carefully offers a treat to her parrot, who delicately pecks at it. Their shared moment is framed by warm wooden tones and soft kitchen light. highlighting their bond of trust and care..realistic physics,4k high quality IMAX pro video quality, perfect lighting, stunning background, perfectly sharp definiton, smooth 60fps movements,

これらはLoraは使用していませんので、実写系は強いですね。

トークン数が少ないため、あまりプロンプトを見ても時間経過とか感じないのですが、トークン数が増えればこの部分のレベルが上がるということになるかと思います。

いいなと思ったら応援しよう！