たった1枚の画像からキャラクターのアニメーションを生成する実験を動画生成AIのViduで
動画生成AIのViduに「Reference to Video」機能が搭載されました。
画像を最初のフレームとして動画を作る「Image to Video」、テキストによる指示で動画を作る「Text to Video」に加え、画像を参照して動画を作る「Reference to Video」が登場したわけです。
以下の動画でイメージをつかんでもらえると思います。
このように、 Reference to Video 機能を使うと、キャラクターの画像1枚から、そのキャラクターにいろいろな動きをつけることができるわけです。
なお、この参照画像をどうやって作ったのかは、以下の記事で紹介しています。手書きの線画からAdobe Fireflyを使ってAIでぬいぐるみのイメージを作りました。これも今回の動画生成と同様に、クオリティの高さにかなり衝撃を受けた出来事でした。
AIが勝手に描いたキャラクターではなく、既存のキャラクターを動かせることに、とても魅力を感じます。キャラクターの次の展開を考えるときの選択肢として、3Dやアニメーション制作の技術がなくてもとりあえず動かしてみられることはメリットが大きいでしょう。とくに、時間もお金もかけられないインディーズ系の作家にはうれしいはずです。
⚠️この記事が含まれるマガジンについて
この記事はわたしアシカガコウジによる有料マガジン「生成AIをいろいろ試す実験室」に含まれています。1回の支払いでこの記事を含めマガジン内の記事を全て読めます。定期購読ではありません。購読いただくと今後追加される記事も全て全文読めます。
なお、ほとんどの記事は無料で読める部分だけでも概要がわかるようにしているつもりです。無料部分だけ読んでいただくことも大歓迎です。
わたしは画像生成AI、対話型AIなど生成AIについてポッドキャスト「アシカガCAST」やX（Twitter）で情報発信していますが、もっと気軽に日々のちょっとした実験や失敗例なども記録しておきたいと考えました。
いつもより雑な感じで発信したく、仕事のファイルなどもこっそり見せちゃうかもしれないので、興味のある人だけに見てもらいたいことから有料のマガジンにしています。ひとの実験をのぞき見する感覚で読んでいただき、なにかしらのヒントになったり役に立ったりしたらとてもうれしいです。
キャラクター動画をAIで生成する実験「ポッペンポップ」編
ということで、お手伝いをしているキャラクターデザイナーの井上・ヒサトさんのキャラクター「ポッペンポップ」がアニメになったらこんな感じかな、のイメージを作ってみた動画です。
中国に下請けに出したら解釈違いで作られたアニメーションのようにも見えますが、キャラクターが破綻せずに動いているだけでも感動しました。AIの魔法でポッペンポップに命が吹き込まれたかのようです。
最初に出てくる動画の参照画像はこの画像です。
プロンプトは「Penguin eating strawberry（いちごを食べるペンギン）」という単純なもの。全く違う感じになっていますが、シンプルな二次元アニメーションとして動きをつけてくれたのが新鮮でした。
2つ目に出てくる動画の参照画像は以下で、プロンプトは「Cute penguin character walks slowly（かわいいペンギンのキャラクターがゆっくり歩く）」です
いろんな向きの画像があることで、AIとしてもキャラクターを立体的に理解してくれて精度が上がると思ったのですが、実際に効果があったのかどうかのテストはしていません。
3つ目以降も全て同じ参照画像で、それぞれ「Penguin characters in procession.（ペンギンのキャラクターの行列）」、「A large number of penguins walking along the streets of Yokohama（横浜の街頭を歩いているたくさんのペンギン）」「Penguins playing baseball（野球をするペンギンたち）」をプロンプトにしました。
いただいたサポートはnoteの執筆、ポッドキャスト活動などのプラスとなるものに有意義に使わせていただきます。ちなみに「スキ」を押すと出てくるイラストは4種類あります。