見出し画像

近未来版『桃太郎』を様々なAIツールを駆使して作ってみた🍑

JUNNI デザイナーチーム

こんにちは！
株式会社ジュニ デザイナーチーム（@junni_designers）のてらちゃんです🐶

突然ですが・・・AIツールを使用したことはありますか？🤔

日々進化し「こんなことができるの！？」と驚かせてくれるAIツールですが、実際どのくらい使えるものなのか、勉強も兼ねてJUNNIデザイナーチームで一本の動画を作成しました✨✨

その動画がこちら！👇

これ、実は結構大変な作業だったのです・・・笑
今回はその制作裏話をお届けしたいと思います！✍️

使用したおすすめ生成AIツールや使う時のポイントなどをまとめたので
コーヒーブレイクのお供に、のんびりお楽しみください☕️🎶



AIツールで動画を作ることになったきっかけ

JUNNIのデザイナーチームでは定期的にチーム会が開かれています。新しい技術に触れたり、ゲームをしてコミュニケーションを取ったり、様々なことをしているのですが、その際に出た案が「AIで動画を作ってみよう！」でした。というのも、以前チームでの朝会の際にadidas（非公式）の動画が話題に上がったことがきっかけでした。

かっこいい〜〜〜！！！✨✨✨
こちらの動画はなんと休憩中に２時間ほどで作られたそう。こんな動画がサクッと作れたらいいよね、生成AIツールに触れてみるいいきっかけになるね、ということで今回の企画をスタートさせることになりました。


準備編

チームで動画を作るにあたって、以下のことを決めました。

・ストーリー
今回は生成AIツールを使用して動画を作成することが目的だったので、一からオリジナル作品を作るのではなく、童話など認知度が高いものを元にしよう！はすぐに決まりました。最終的に『 桃太郎がデザイナーだったら？ 』をテーマに大まかなストーリーを決めました。
きび団子の代わりにレッドブルを渡したり、お供の猿・キジ・犬とzoom会議をしたり、戦うのが鬼ではなくライバル事務所だったり！笑
ちょっとしたアレンジをみんなでワイワイ話し合うのが楽しかったです！

・進め方
ストーリーを分解してメンバーで分担！桃太郎や登場キャラクターの見た目をなるべく近づけるためにリレー形式で作っていくことになりました。
大まかな流れとしては、
1. シーンごとにベースのイラストを作成
2. 動画生成AIで動かし
3. シーンを繋げてテロップや音楽をつける
完成！！という感じに。案件の合間に進めていくことになりました。

・使用するAIツール
話題のツールたちを比較検証して「これだ！！！！」というツールを選出。こちらについてはまた下の方で解説します🤓

・テイスト
使用するAIツールの話にも繋がってくるのですが、そもそもどんなテイストの動画にするかも今回のポイントでした。画像生成AIツールを検証して話し合った結果アニメーション風で進めることに。


画像生成AIとの戦い

早速作り始めよう！というわけで画像生成ツールとして選んだのが『 Midjourney 』。クオリティの高さと、にじジャーニーが今回作りたかったアニメーション風イラストにピッタリだったのです！
ちなみに、にじジャーニーというのは二次元のイラストに特化したMidjourneyの有料機能です。
生成時のプロンプトにタグをつけることで反映されます。

参考を探してテイストの検証！担当メンバーが頑張ってくれました。

ここまで来たらあとはプロンプトを打ち込んでAIが作ってくれるだけ〜！と思っていたら、予想以上に大変だったのが、作りたい絵がなかなか生成されない！という点。
複数の登場人物がいたり、複雑な指示はまだまだ難しいようで、プロンプトを打ち込んで生成しては「違う〜〜〜！！！！」と頭を捻る日々・・・最終的にパーツを書き出して合成なんて力技も使うことになりました。笑

通常業務の合間に取り組んでいたとはいえ、全シーンのイラストが揃うまでに半年ほど時間がかかってしまいました・・・！😭

シーンイラストを作るためいろんなパターンを作成している様子。


色々な動画生成AIの比較

よりクオリティの高い動画生成を目指すため、担当メンバー（おかぴ）がさまざまな動画生成ツールを使い倒してくれました！

下記が、実際に使ってみた感想です！

・LUMA Dream machine
ダイナミックに動かしてくれる分崩れがちだが、かゆいところに手が届く感じで、一番イメージに近い動き方をしてくれるなと思いました👀

・Runway(gen-2)
全体の動きは少ないが、シネマティックなカメラワークには向いてると思いました！ 指定したところだけ動かすことも可能です。

・Kling
2次元で動かそうとしても、強制的に3次元になってしまう。３次元は圧倒的なクオリティですが、2次元は苦手な印象です。
戦いのような写真を基にしても、なぜか知らない男の子達のeスポーツが始まってしまいました；；

・pika
全体的に動きは静かで、崩れがちでした。 他の生成動画ツールと比較すると、遅れをとっている印象でした。

どの動画生成AIツールも共通して言えるのは、被写体が多いほど難しい。。。
対策として、以下の２つになりそうです！
・メインとなる被写体を大きくする
・できるだけ被写体を少なくする

この１年動画生成AIを追ってきましたが、異常なスピードで質が高くなっていると実感しています！さらに次の１年で、どこまで行ってしまうのかワクワクします！（おかぴ）

というわけで！いろいろ検証してみた結果、最終的に
『 LUMA Dream machine 』を使用することに決まりました。


仕上げ

画像生成AIと動画生成AIとの戦いの次はBGM決めと動画編集🎞️
ここまでくるとだんだん達成感が湧いてきました。
流石にテロップや編集はガッツリ人の手が入りましたが、なんと！BGMも生成AIのものなのです！
使用したのは『 Suno 』というツール、イントロ曲はもちろん、歌詞を入力すれば歌声まで入れてくれるんです。
以前、若手チームで開催した「AIでアイドルを作ってみる」という企画でも使用したのですが、こちらもどんどん進化してできることが増えていて感動しました。

そんなこんなでついに動画が完成👏👏👏
長い道のりでしたが完成した時は達成感も大きかったです・・・！


制作エピソード

チームメンバーからの感想を集めました！

一番初めのシーンの担当になったので、世界観を決めるのが難しかったです。あと、お爺さんとお婆さんがいいのに、生成Aiくんがお爺さんと美女にしたがるのも、面白くも苦労しました！
カメラの角度もプロンプトで指定しましたが、もう少し俯瞰がいいなと思っても、こちらも生成Aiくんのすきな角度で生成されて、もどかしかったです。が、「いいね〜」みたいなカメラアングルも出してくれたので楽しかったです。
あとは、日本というキーワードだと、着物になってしまい、「No KIMONO」的なプロンプトを入れても着物だったときはまあまあ辛かったです。

ふじ

（桃から出てくるシーン）桃が割れてるイラストは生成できたけど、映像にするとき、『綺麗な桃▶︎割れた桃』の過程を指示できませんでした。
頭で理解できていても、指示を言語化するのが難しかったです。結局ぼやっとした変化になってしまいました。🍑

みねもと

桃太郎がお爺ちゃんから絵を教わるシーンを担当しました！
まず苦労したのは初めのシーンに出てくるお爺ちゃんと桃太郎それぞれの同一人物を同時に生成するとき。イラストのタッチや顔や髪型だったり、お爺ちゃん👴が何かお洒落だし（？）で何度も生成し直しました。
そして、動かす時も２人同時に理想の動きを生成することが難しかったり（どちらか一人だけ動いちゃう）、教えてるのか説教してるのかわからないアニメーションになってしまったりw
なかなか思い通りにならずでした😮‍💨
プロンプトを調整していくことで何とか生成できましたが、ガチガチに指定するよりも少ないワードで後はAlにお任せする方がより自然な絵に生成される印象でした

きりん

画像から動画にする作業(動画AIが作ったものを何度もリテイクする作業)が一番難しかったです…
旅の前におじいさんが桃太郎にエナジードリンクの缶を手渡すシーンなのですが、プロンプトを指定しても、おじいさんがそのまま飲んじゃったり、桃太郎がおじいさんの缶をふんだくったりと、想定外の動きが沢山生成されて、思わず笑ってしまいました🥤

nam

何回やっても動物たちが自由気ままに動いてどこかへ行ってしまったので、画像を繋げることで場面が移り変わっていく表現へと昇華させました✌️

かずん子

鬼ヶ島（相手のオフィス）に向かうシーンと強豪エリート集団チームのシーンを担当。
鬼ヶ島に向かうシーンは、一度に複数の被写体を指定して再現は現段階では難しかったので、シーンと、桃太郎や各動物のキャラクター毎に分けて画像生成し最終的にPhotoshopで合成しました。見た目を合わせたい被写体は、合わせたい被写体画像を指定して、作りたい画のプロンプトを指定する事で、見た目を揃える事が出来るので被写体単体での生成は簡単に行えた。
相手強豪チームは、ストーリー的に初登場だったので、固有のイメージを引き継ぐ必要がなかった為、プロンプトでシーンやメンバーの特徴を指定する事で比較的簡単に生成可能です。
今回は画像生成はMidjourneyを使用しましたが、AIツールによってもそれぞれ特徴や出来る事が微妙に違うので、プロンプトやパラメーターの指定の重要さを実感出来ました。

クロ

はじめにどんなテイストにするか/どんなプロンプトにするかにするか決める担当もしました！
苦労した点は、同じプロンプトを使っても少しテイストが違くなったり、想定とは違う結果が出てしまうこと…！
メンバー全員が同じプロンプトを打って、一貫性のあるテイストになるよう研究しました。
ゼロからプロンプトを作るのではなく、「 \describe 」機能を使って既存画像からプロンプトを抽出し、一部のプロンプトを再利用することでスタイルに一貫性を持たせることが出来ました！
また、プロンプトの順番によって結果が変化するので、そこも気をつけました。
もともと好奇心で個人的に使っていたこともあり、より深い知見を得られて楽しかったです✨

おかぴ

最後のシーンを担当しました！
まとめのシーンだったのでどんな絵にするかで一番悩みました。
いろんなプロンプトを入力してひたすら作りましたがなかなか満足いくものができず、チームのみんなをお待たせしちゃったのが反省点です・・・😭
ですがここまでガッツリAIツールを使うこともなかったのでとても楽しかったです！🥳

てらちゃん


まとめ

正直、そんなに手間はかからないだろうと思っていた生成AIツールですが、こだわろうとするとやはりそれなりの作業工数や試行錯誤が必要なことがわかりました。🤔💭 とはいえ、本職のアニメーターさん達の技術には遠く及びませんが、それなりのクオリティの動画を技術がなくても作れるというのはすごいことですね！

権利問題などまだまだ課題の多い技術ではありますが、賢く使うことができればもっと面白いこと・新しいことができるようになるかもしれません。

これからも目が離せないAIツールを追いかけていきたいと思います！
それでは、次回の投稿もお楽しみに🙌🥳

【使用ツールまとめ】
画像：Midjourney / Photoshop
動画：Luma Dream Machine
楽曲：Suno
動画編集： After Effects

この記事が気に入ったらサポートをしてみませんか？