🪕「リュート風の楽器を奏でる絵」① | 画像生成AIなどの話 (2024-11-12～2024-12-31)

概要(Ver.2024.11.12)

2024-11-12より、Sonocellar楽曲動画の一部分の動画/サムネイル画像に、画像生成AIによる絵を作成し、利用を開始しました。これについて、ちょっとだけお話と補足をします。

この記事のサムネイル画像は、Ver.2024.11.12 (初期版)です。
※更新版の実際の状態は各記事にある動画などにて。

なお、本日(2024-11-12)のSonocellar楽曲動画は⬇️以下です。

※補足情報として、Sonocellar楽曲動画/サイトから、このnote記事を参照するようにしています。
※このnote記事のサムネイル画像のうち、「リュート風の楽器を奏でる絵」（イラスト）の部分がその該当部分です。ロゴ類は該当しません。
※これまでも一部サムネイル画像に無料版Canvaのものを使うことはしています。そこで素材として使う「写真」「動画」以外における話です。

説明

• 2024-11-12のSonocellar楽曲動画より、「リュート風の楽器を奏でる絵」を動画/サムネイル画像などに加えました。

• この絵には画像生成AIのお力を拝借しました。

• これには、荒い下絵とテキストプロンプトを用意し、反復による試行錯誤をしました。今回の利点は、手軽というより、品質の確保や趣の異なる絵柄を活用できたといったところです。

• 試行回数を重ねても、想定と違う要素満載ではありますが、そこは戯れということにしましょう。

• 悩みどころは、各種活動に生成AIを活用しているかどうかの境界が曖昧になることですが、そのほかのゲーム画像やSonocellar楽曲はいまのところ手作業です。（以下に恐れの補記）

• しばらく、この絵または類似の絵をサムネイル画像などで展開してみて、Sonocellar楽曲動画のアナリティクスなどに変化があるか様子を見たいと思います。

恐れ（悩みどころ）

※もう少し細部が気になるようであれば、読み進めてください。次の見出し以降では、更新内容を追記しています。

以下のようなことを思い巡らせました。しかし、何らかの施策を進めなければいつまでも、序の口のままです。何らかの形では前進が必要です。これはその一環、1つの形であると言えます。

• どこまで安全でしょうか？

• AI活用についてあまりに不勉強では、置いてきぼりでは？

• どこにでもAIを使っていると思われないか？

• AI歓迎な人々とAI拒否な人々がいますよね？

• AIの補助でプラスの効果があっても、ゲーム本編などを手作業のみで行ったとして、期待に応えられるとは限りません。

• AI活用は画像生成でも補助レベルから、ほとんどお任せまである。その程度については、閲覧者に必ずしも伝わるわけではない。

• 各サービスにはそれぞれ、AIに対する向き合い方がある。

• どのような絵柄を評価するか、人それぞれ。

• 絵柄は、楽曲とは直結しないという見方もできる。とはいえ、まず、サムネイル画像の時点で、動画に興味を持ってもらえるかの第1ハードルがある。

※現在のところ、AI活用について変化があったとき、大まかな活用範囲を示していこうかと思います。もっと活用していくのか、そうではないのか、これは様子を見ていきたいところです。

追記 (2024-12-06更新)

初稿以降の追加について、ここに記載します。
以下の記事が示す楽曲動画の画像/映像において（主にサムネイル画像の一部）、多少のAI活用要素があります（楽曲に対するAI活用ではない）。

記事の近況の部分にて、補足を確認できます。

「空中庭園のような絵」Ver.2024-12-18

以下にあるGIF（画像/映像）のうち、「リュート風の楽器を奏でる絵」とロゴを除いた背景部分「空中庭園のような絵」は、このVer.2024-12-18が初期版です。この背景には画像生成AIを用いています。ふと思った風景のアイディアをもとに、それに近づくテキストプロンプトを生成AIに出してもらいました。当初のアイディアとは違いますが、テキストプロンプトとしても画像としても、幻想的な世界を舞台にするゲームにありそうなものでしたので、活用しました。

Sonocellar on mixi2: "Hello, mixi2!"

「リュート風の楽器を奏でる絵」の更新内容

Ver.2024.12.10

Ver.2024.11.12 (初期版)をベースに更新して、2024-12-10の⬇️以下の楽曲動画より、Ver.2024.12.10を適用してみました。

• 更新の要点

  • テキストプロントを調整してみました。

  • 構成要素はあまり変わらないようにしました。

  • どちらが良いとは簡単に決めることはできませんが、質感を変更してみました。

  • 何度も生成を試しているので、今回も手軽にというわけではありません。

  • 生成後のマスク作成は少し厄介で、若干の手作業が入っています。

Ver.2024.12.13

Ver.2024.12.10をベースに更新して、2024-12-13の⬇️以下の楽曲動画より、Ver.2024.12.13を適用してみました。

• 更新の要点

  • 以下の流れでこの更新に至りました。

    • 「nizima ACTION!!」でどんなことができるだろう、から開始

    • 古から何度か触れていたLive2Dで動かせるかの挑戦

    • 簡単なループアニメーション動画にまとめ

      • 首/髪の揺れと、まばたき
        ※今回「nizima ACTION!!」は成果物には直接関与していない

  • 動かすために手作業で画像の分割と修正、生成AIで補正をしています。

  • この作業量に応えるべく、気になる部分もいくつか生成AIで今一度補正しました。

  • 実験的でもあったため、以下のような点も、今回または今後の課題として挙げておきます。

    • 部分的にしか動かしていない

    • どの程度、一体化しているAI画像から継ぎ接ぎが可能か

    • どのように活用できるか

    • 手作業の加工精度はほどほど

    • 操作方法/できることの確認など

Ver.2024.12.15

Ver.2024.12.13をベースに更新して、2024-12-15の⬇️以下の楽曲動画より、Ver.2024.12.15を適用してみました。

• 更新の要点

  • いくつか部分で手書きと画像生成AIによる補正を加えました。

  • 頭のリボンをレイヤーに分離して、揺れるようにしました。

  • 髪の揺れを少し調整しました。

今回の更新は、比較的細かい内容なので、どの程度気づくか、効果の程などは限定的だろうと思います。

Ver.2024.12.16

Ver.2024.12.15をベースに更新して、2024-12-16の⬇️以下の楽曲動画より、Ver.2024.12.16を適用してみました。

• 更新の要点

  • いくつか部分で手書きと画像生成AIによる補正を加えました。

  • 猫🐈️の耳と尾が動くようになりました。

Ver.2024.12.17

Ver.2024.12.16をベースに更新して、2024-12-17の⬇️以下の楽曲動画より、Ver.2024.12.17を適用してみました。

• 更新の要点

  • 演奏する右手✋️が動くようにしました。

Ver.2024.12.18

Ver.2024.12.17をベースに更新して、2024-12-18の⬇️以下の楽曲動画より、Ver.2024.12.18を適用してみました。

• 更新の要点

  • 手書きで少し修正を加えました。

  • 目👀が動くようにしました。

Ver.2024.12.22

Ver.2024.12.18をベースに更新して、2024-12-22の⬇️以下の楽曲動画より、Ver.2024.12.22を適用してみました。
※動画内の動く絵のみを更新しています。静止画はVer.2024.12.18にとどまっています。

• 更新の要点

  • 手書きで少し修正を加えました。

  • 一部を画像生成AIで補正しました。

  • 左腕～左手✋️が🪕リュートの弦を押さえている風に動くようになりました。

Ver.2024.12.23

Ver.2024.12.22をベースに更新して、2024-12-23の⬇️以下の楽曲動画より、Ver.2024.12.23を適用してみました。
※動画内の動く絵のみを更新しています。静止画はVer.2024.12.18にとどまっています。

• 更新の要点

  • 手書きで少し修正を加えました。

  • 左右への首振りを含むようになりました。
    ※このために、レイヤー分けや構造の変更などの更新が多いですが、アニメーションでは弱めに動かしています。

Ver.2024.12.24

Ver.2024.12.23をベースに更新して、2024-12-24の⬇️以下の楽曲動画より、Ver.2024.12.24を適用してみました。
※静止画も更新しました。

• 更新の要点

  • 手書きで少し修正を加えました。

  • 一部を画像生成AIで補正しました。

  • 頭部の少し補正しました。

  • 目を調整しました。

  • 目の動きを調整しました。

Ver.2024.12.25

Ver.2024.12.24をベースに更新して、2024-12-25の⬇️以下の楽曲動画より、Ver.2024.12.25を適用してみました。
※動画内の動く絵のみを更新しています。静止画はVer.2024.12.24にとどまっています。

• 更新の要点

  • 👗スカートが少し揺れるようになりました。

Ver.2024.12.27

Ver.2024.12.25をベースに更新して、2024-12-27の⬇️以下の楽曲動画より、Ver.2024.12.27を適用してみました。

• 更新の要点

  • 絵の一部を調整をしました。

  • 一部の動きを調整しました。

Ver.2024.12.31

Ver.2024.12.27をベースに更新して、2024-12-31の⬇️以下の楽曲動画より、Ver.2024.12.31を適用してみました。

• 更新の要点

  • 絵の一部を調整をしました。

  • 🪕リュート風の楽器をAI生成で更新しました。

Ver.2025.01.06以降は②へ

2025-01-06以降の更新内容は以下⬇️にて。