「花夢」生成AIと一緒にアニメーションを作ってみて
はじめまして、KALINです。
私は2024年1/28-2/2に開催された東京藝術大学卒業・終了制作展で作品の発表をしました。この作品をきっかけに様々な人と出会い、人生の中で大きな転機が訪れたと思います。あれから約半年を過ぎようとしていますが、備忘録も兼ねてnoteを始めてみました。
はじめに
卒業制作展示開催当時、観に来て頂いた方がX(旧Twitter)に投稿した事をきっかけに、「AIでアニメを作った人がいるぞ」と少しネットで話題になりました。「先端の技術を取り入れいて素晴らしい」という声もあれば、「藝大生のくせにAIなんか使って楽しやがって」と、賛否両論ありましたが、個人的にこの作品を出せて悔いはありません。
高校からずっとアニメーション制作してきて、大学に入ってもアニメーションを制作し続けてきました。2022年の年末、初めて文章生成AI(Chat GPT-3.5)と画像生成(Midjourney)を試しに触ってみました。ChatGPTは想像以上に自然な会話ができ、Midjourneyは単語入れただけでぱっと見綺麗な絵を出してきた事が私にとって相当な衝撃でした。細部をみればまだまだ違和感はありますが、逆に細部さえ修正できればそれなりに見応えのあるものができる、生成AIが制作に関わってくるのが時間の問題だろうと思いました。
私はクリエイターとして、これからどう生成AIに向き合えばいいのかを考えないといけない。考えるためには、もっと生成AIを知らなければならない。生成AIを知るためには、実際に使ってみるしかない。じゃあ一緒にアニメーション作ってみて、生成AIに何ができて、何ができないのかを調べてみよう。そんな感じでこの制作が始まりました。
作品紹介
展示した作品のタイトルは「AIと制作 -花夢- 2023」です。「AIアニメ」として注目されてましたが、この作品のメインはアニメーションではなく、生成AIと一緒にアニメーションを作ったプロセスです。
四畳半くらいの木製の小屋を建て、中では3つのモニターがあり、外側では生成AIとどのようにアニメーションを作っていったかのプロセスを展示しました。出入り口付近では生成AIに対してどのように思っているのか、鑑賞者がポストイットに自由に書いて壁に貼るスペースがあります。
中の3つの映像は同期しています。
【左】画像生成AI(Midjourney)で出力したAI絵を、動画生成AI(Gen-2, Kaiber, Pika Labs)に読み込ませて出力したAI動画を繋げた映像。
【中央】画像生成AI(Midjourney)で作った紙芝居風映像。
【右】画像生成AI(Midjourney)で出力したAI絵を背景として使えるように加筆修正し、自分で作画したキャラクターを合成したアニメーション。
実際展示したアニメーション↓
同期したアニメーションを比較した映像もYouTubeで公開してますので、よかったら見てみて下さい。
制作のプロセス
それでは実際どのように「花夢」を作っていったかを説明したいと思います。
ChatGPTと構想(2023年6月)
ChatGPTと対話する事で世界観、登場人物、物語を構想していきました。
実際の会話のログ↓
全部読むには長いと思うので、重要なところだけ一緒に見ていこうと思います。
Q1：AIに得意な創作ジャンルある？
Q2：10分で完結するセリフのないヒューマンドラマを書いて。
(アニメーションを一人で作れる限界の尺が10分だから)
Q3：このストーリーをどうやって思いついたの？
(感情のないAIがどのように感動系ヒューマンドラマ書いたか気になった)
Q4：老人の旅する動機は？
(年齢的に旅するには体力厳しそう、余程の動機があるはずだ)
「時間との競争」は残り少ない時間少しでも長く一緒に居たいと思うから却下。
Q5：老人と愛する人の関係性は？
(動機に繋がりそうな理由を探してみる)
Q6：老人と愛する人はなんで離れ離れになったの？
(旅をするほど遠く離れてしまった理由が気になった)
また老人の選択によって愛する人が離れるのは単純明快に描けそう。
Q7：主人公の名前は？
(老人の設定を深掘りして人物像を作っていく)
ヒースと名付けた。
Q8：主人公の性格は？
彼は感情表現が豊かではなく、むしろ寡黙で不器用な男だったのだろう。
淡々と旅を続ける老人と移り変わりゆく風景を見せる事で、
困難に立ち向かう老人の心境を描けるのではないかと思った。
Q9：愛する人の名前は？
物語がシンプルでわかりやすいと思い、
美しくて儚さのあるリリーと名付けることにした。
Q10：二人が約束を信じ続けるモチベーションは何？
他はどれも綺麗事すぎて、薄っぺらく感じた。人間はもっと独善的である筈だ。
Q11：ヒースの旅の動機を「後悔から逃げる」とし、ストーリーを再構成して。
(過去の選択でリリーがヒースを元を去り、後悔から逃れるために旅をした方が すごく人間らしい動機だと思った)
最終的に加筆して以下のシノプシスになった。
ヒースは植物考古学者で、研究の対象であるエーテルリリーを探す旅に出る。かつて彼は文献にしか記されていない謎の花を研究に没頭するあまり、愛する人が去ってしまった。それでも彼は研究を続け、ついに異国の書物庫でエーテルリリーが存在する場所の手がかりを見つけ、旅に出た。秘境の地に足を踏み入れ、川を渡り、雨に降られ、洞窟の中に避難した時に、決して外したことがなかった自分の結婚指輪に気が付いた。
そしてウサギの姿をした精霊が現れ、その後を辿り、エーテルリリーに近づいて行くのを感じる。花を見つけ、対峙したとき、自分が選ばなかった本当の幸せを知った。
絵コンテから画像生成へ(2023年7月〜8月)
清書した脚本を元に自分で絵コンテを描きました。
絵コンテは画像生成するよりも、手で描いた方が自分が考えている映像の流れを手早く再現しやすいからです。51枚分の絵コンテ(107カット)を2週間で描き、それぞれのカットを画像生成AIで出力しました。
ただ、私が描いた私の絵コンテが雑すぎて上手くAIが読み取ってくれなかったので、カットごとにをi2iではなく、それぞれのカットを言葉で描写し、t2iで出力しました。
600回くらいそれぞれのカットを言葉で説明したのですが、結局使ったのは89枚でした。
生成した画像を背景として使えるように加筆(2023年9月〜12月)
キャラクターアニメーション作画と同時並行で、Midjourneyで生成した画像を加筆修正して背景を作っていきました。Midjourneyで背景を作ろうとすると画角がほぼ決まっており、構図のバリエーションが乏しくなる事が難点でした。絶対に真ん中手前から奥への一本道しか出せなくて少しイラついてました。
後に、あえてあらかじめ人物を入れて指示した方がいい場合があると気づきました。特に人物アップショットの場合、人物をわざと入れる事で画面の構成にメリハリがつきます。
なのであえて手前にキャラクターを生成して、後から加筆したりPhotoshopのコンテンツ塗り潰し機能使ったりして背景として利用しました。
実際の展示の様子
前年度までの卒業制作展はコロナの影響で予約制だったので、今回は4年ぶりに予約なしで観に行けるようになったというのも相まって、大勢の方々が来場しました。
なぜわざわざ小屋を建て、映像を見づらくしたのか。
それは映像ではなく、生成AIとの制作のプロセスがメインだからです。
入口を狭くすることで中に入る観客を制限し、待っている間生成AIとの制作プロセスを見てもらい、生成AIについて考えるように導線を設計しました。
実際来ていただいた皆さんには、生成AIについて思うところをポストイットに書いて壁に貼ってもらいました。
ポストイットを貼る事で考えが異なる人同士が誹謗中傷し合うことなく、生成AIのみに対する他人の思いを垣間見れたので、とても有意義な場であると感じました。
終わりに
制作当時、AIはクリエイターのやりたい事を手助けする新しい技術だと思っていました。大学在学中殆どSNSから離れていて、AI論争があることを全く知らなかったので、当時はこの作品がこんなにも物議醸す事になると思ってもみませんでした。
色んな言葉がSNSで飛び交っているのを見て、その度に色々と考えました。勝手に作品使われて、好き勝手に自分の作品をいじくりまわし、挙げ句の果てに他人を傷つける道具として使われたら憤る気持ちになるのは想像に難しくないです。でも、もし制作する前からAI論争を知っていても、それでもこの作品を作っていたと思います。楽して制作したいのではなく、私がこれからどういう時代と向き合わないといけないのか、心の準備として制作していたと思います。利用されたのならば、こちらもどう利用するのかを考えます。
展示期間中、ほぼ毎日在廊していました。その間様々な方に話しかけられましたが、皆真摯に生成AIについて考え、向き合っていました。中にはAI開発のエンジニアの方もいて、クリエイターの為に頑張って開発している話を聞けました。私にできることは、AIを使って制作したもので、楽しい時間を皆さんに提供することだと思います。悪用しかされていないみたいな状況で絶望しないために、いい方向での使い方を考え続けるのが今の私の役割だと思っています。
ありがたいことに、この作品をきっかけに色んな取材の申し込みや、依頼の相談が来ました。そしてインディーズのアニメーションの賞にも受賞しました。色んな方が新しい技術を取り入れた新しい制作について興味があるのも事実です。これは「AIがあるから描き手はいらないや」という意味ではなく、「クリエイターがAIを使いこなせば何ができるのか」という期待が込められているのだと思います。いくら技術が発展しても、創作をやめない為には考え続ける事が重要です。考え続ける事で、自分の表現したいものを、創作の意味を見出せるのだと思います。