宇宙を舞台にした何か：その５

ミュージックビデオ第３弾。こいつのガチャが少し進んだ（安定した）ので、その結果を並べてみる。

２カットの漫才型

今度の構成は「２カット」で完結させる予定で、漫才型のボケとツッコミみたいな感じになる。１カット毎にリップシンク（動画化）するが、どんな動画になるかはやってみないとわからないので、セリフを作るのは動画化の後になる。基本的に５秒で動画生成しているので、セリフも５秒以内になる。イメージが良くても動画化がイマイチなら没になる。

表情が大事

表情は多くを語る。なので、生成時は喜怒哀楽の総当たり指示にしてる。同じシーンでも表情が異なればセリフの効果も変わるし、セリフが同じでも表情で受け止め方は変わる。生成では指示が複雑化すると表情やポーズが出難くなるので、それは悩みの種。

プロンプトのバランス

表情コントロールも含め画質に至るまで、全ては「バランス」という点に尽きる。それぞれの指示内容をブロック化して管理しないとこの調整は難しいと思う。また、テキストエンコーダーはいつも同じ処理をしてくれるが、モデルやLoraは個性があるので、それとの相性の把握も必要になる。まあ、やっぱ大変だわ～、、

カット変わっても背景や画質に違和感ないようにしてる。ここに至るまで相当な試行錯誤を繰り返して、やっとできた状態。また、どちらもリップシンクするのでデカ顔が目標。まだ化け物の声が見つからないのが不安、、

とりあえずこんな感じで進行してる、、