ChatGPTとBlenderを使ってオリジナルえほん作ってみた
読書が好きな人ならば誰しも一度は「本を書いてみたい！」と思ったことがあるでしょう。かくいう僕もその一人。小さい頃に本をたくさん読み、それを真似して書いてみようとして挫折したことがあります。そして、有川浩さんのストーリー・セラーの主人公のように、世の中には「書ける人」と「書けない人」がいて自分は「書けない人」なんだと思うのでした。
そんな「書けない人」のぼくが「書ける人」を再現する文明の利器「ChatGPT」や「Blender」の力を借りながら悪戦苦闘、なんとか自分の絵本を作り上げるまでの物語です。はじまりはじまり。
完成した作品▼
絵本作りのきっかけ
絵本を作るんだ！と決めたきっかけの話をするには2019年10月まで遡ります。読書が好きで、物語への没入体験を作りたいと思っていた僕は、少し変わった絵本制作ワークショップの企画をしたのでした。この時のアイデアは、モーションキャプチャーを使ってアバターを動かして絵を作るというもの。実際に絵の素材や物語を用意してワークショップを何度か開催したのでした。この時点で自分で作った素材を含む絵本を製本するということができました。
しかし、主人公のキャラは友人が作ったアバターだし、物語は桃太郎やグリム童話「森の中のおばあさん」を改変したもの。完全に自分のオリジナルのものではないところに物足りなさを抱え、いつか自分で最初から最後まで絵本を作りたいぞという想いを抱えるようになります。
ChatGPTと出会い、動き出す(2023年3月)
2023年の2月に入って出会ったのがChatGPTです。その驚異的な文章生成能力に魅了されながら、まず作ってみようとしたのが絵本の物語でした。物語を上手く描けない僕でも、AIの作るプロットを参考にすれば、何か書けるかもしれない。
最初はこちらもこだわりがあるのでプロンプトエンジニアリングしながら、バンバン指示をしました。例えば、物語の教訓はこんなものにしたいとか、最後にどんでん返しをしてくれとか、物語の作り方の教科書を見ながら、こういうプロットにしてくれとか。主人公はさるのキャラクターなので、サルの持たれるステレオタイプとその逆を踏まえてキャラを作ってくれとか。
一番長かった時のプロンプトはこんな感じです。
しかし、これだと満足いく結果が得られませんでした。それはGPTがこれらの指示を忠実に守ろうとしすぎるからです。多少、物語の整合性がとれていなくても無理やり結論としてそこに持っていこうとするので、物語がどこかぎこちなく、意外性のないものになってしまいます。
結果として上手くいったのは全く逆のアプローチ。つまりAIへの丸投げでした。シンプソンズの新作エピソードとか、昔話とか、そういったざっくりとしたジャンルで雑に投げてみると、制約が外れて面白がれるような回答が出てくるようになりました。
結果として、こんなプロンプトで物語を生み出しました。
サルが主人公のイソップ童話の新しいエピソードを教えてください。この物語を読んでいる人が少しだけ驚く物語の展開を入れてください。また、最後には読者が笑顔になれる物語にしてください。あなたは個性的なアイデアを出すことで、他の参加者に対して、刺激を与える役割です。なお、宝の地図や魔法のアイテムが出てくる物語は禁止とします。
最終的にはガチャでした。基本的には主人公がサルで童話であることだけを伝えるくらいがちょうど良かったです。ポイントは宝の地図や魔法のアイテムの禁止です。GPTくんは割と安直なので、個性的なアイデアを求めるとすぐに魔法に頼ってしまいます。しかし、魔法を使われるとなんでもありになり絵を作るのも難しくなるのでお断りしています。
こうして得られたプロットを元に、言い回しや物語の補完をこちらで加えることで文章を制作していきました。大まかな物語の流れはGPTくんの提案をそのまま受け入れています。GPTくんにも相談をしながら文の構成を変化させていきました。ただし、あくまで彼は補助の役割。最終的な文章のリズム感を整える部分は自分にしかできない仕事でした。
[C4] =: あなたは天才編集者です。[S5]について、わかりづらい表現や修正した方が良い点をリスト化し、指摘してください。その際、なぜ修正すべきなのか、理由も述べてください。修正点については、何度も読み直した上で、修正の必要性が高いと思われる箇所から指摘してください。なお、この物語の[教訓]は以下の通りです。
[教訓]:
この物語は、計画が狂っても、その状況を楽しむことが大切であることを教えてくれます。また、失敗を受け入れ、笑顔で前向きに進むことで、新たな発見や友情が生まれることを示しています。
[C5] =: この物語を読んだ小学5年生の感想を3人分用意してください。感想は300文字程度で書いてください。また、5つ星のレビューを追記してください。
<例>
サルの気持ちにとても共感できた。面白かった。
面白さ：★ ★ ★ ☆ ☆
[C4] 指摘箇所と修正の理由:
1. [Sc3]「風の向きや雲の形を見てもさっぱりです。」
修正:「風の向きや雲の形を見てもわからない。」
理由: 「さっぱり」は口語的で、物語の語調とあわないため。
2. [Sc4]「それだったら、当てずっぽうで天気を言ってしまえ！」
修正:「だったら、当てずっぽうで天気を言ってしまおう！」
理由:「しまえ」は命令形であり、サル自身の決意を表現するため、「しまおう」に変更。
3. [Sc5]「あぁ、なんてことを言ってしまったんだろう。」
修正:「ああ、なんてことを言ってしまったんだろう。」
理由: 「あぁ」は口語的で、物語の語調とあわないため、「ああ」に変更。
[C5] 小学5年生の感想:
1. サルが天気予報が外れてもみんなに受け入れられて、友達ができた話がすごく良かった。僕も失敗を恐れずに新しいことにチャレンジしてみたい。面白さ：★★★★☆
2. 物語がとても楽しくて、サルが失敗しても前向きになれるのが印象的だった。失敗は悪いことじゃないって教えてくれる物語だと思う。面白さ：★★★★★
3. この物語を読んで、失敗も新しい発見につながることがわかった。サルが頑張って天気予報をやろうとする姿がかわいくて応援したくなった。面白さ：★★★★☆
イラスト制作でつまずく(2023年4月)
主人公となるサルのキャラクターは自分のアバターとしてBlenderで制作したモデルを利用すると決めていました。さまざまな動きや角度のキャラを描けない自分としては、前述のワークショップのやり方を踏襲して作ろうと考えていました。
一方、準備できていないのが背景の画像です。主人公のサルに合わせながら、白ベースのシンプルなイラストを作りたいと思いました。
しかし、僕は絵が思い通りに描けるわけではありません。こういう絵が欲しいというイメージは頭の中に明確に浮かんでいるのですが、それを形にできないのです。
ということで、CanvaのAIイラストを使いながら、イラストを再現しようとしました。しかし、Text to imgと僕の指示能力では、画風を統一したり、シンプルなイラストの制作はできませんでした。
何より頭の中では明確に絵が想像できてしまっているが故、どんだけイラストを出してもイメージと違うとなってしまうのです。
結果、AIのイラストの構図等を参考に手書きで書いていこうと思いますが、やはりイラストを上手に描けるわけでもなく、モチベーションがなくなっていき、ついには制作を辞めてしまいました。
すべてCGで作ればいいんじゃない？(2023年8月)
3ヶ月間の放置の後、事態が動いたきっかけはピクミン4でした。ピクミンの可愛さに触発されてCGで何か作りたいと思った僕は久々にBlenderに触れます。そして、自分のPCのスペックでもレンダリングができることに気づくのでした。
CGアニメの制作のドキュメンタリーなどをみる中で、レンダリングというものを行うには超高性能のPCで何時間もかけないとできないと思い込んでいたのです。しかし、BlenderのEeveeを使えば1枚あたり30秒程度で書き出しができることに気がついたのです。
基本的に自分の作りたいイラストの特徴は、シンプルで3Dで作ったアバターに合わせたものでした。それなら球や立方体を組み合わせただけの簡単なモデルを作れば解決しそうです。更に2Dのイラストとして絵の構図や森の奥行きを書いていくことに苦戦していましたが、3Dで作ってしまえば、コピペと人形的な配置だけでいけるわけです。これなら、思い通りの絵が作れるのではないか？また、レンダリングした画像を見てクレイアニメのような雰囲気にまとめれば可愛さが出るのではないかと考えました。クレイアニメなら複雑な造形をしなくても成立しそうです。
CGでお人形を作っていく。
ということで、早速必要そうなCGのアセット(お人形)を用意していきます。
作ると決めたら早いですね。もちろん、ここまで何度もアバターを作ろうと苦戦したことがあったからですが、すべてのアセットを揃えるまで2-3日しかかかりませんでした。気をつけたことはなるべく単純な形で、各パーツを単色で塗ればいいほど単純な配色で作っていくことです。とにかくシンプルにして完成まで一気に行ってモチベを切らさないことを第一にしました。また、木や葉っぱをはじめ、テクスチャをなるべく自分で採取したものにすることを意識しました。
そこからはお人形遊びです。イメージに合うようにとにかく並べていくだけ。絵本は静止画だけなので、整合性的なものを何も考えなくていいのは楽でした。
はじめての「ライティング」と「撮影」
並べた後に待っていたのは、照明をどうするか、写真をどんな構図で撮るかということでした。これに苦戦。簡単にいうと、CGでバーチャルに人形を作ったら、その世界の中でバーチャルなカメラとライトを用意して配置しないといけないのです。このライトやカメラは現実世界のものにそっくりで、ライトの明るさや色、淡さ、位置による影、カメラのF値や絞り、露出などなんでも自由自在に決められるのです。しかし、僕は現実世界で本格的に照明やカメラを扱ったことがありませんでした。
そこで、カメラの本を借りてきたり、YouTubeで3点照明のやり方みたいな動画を見たりしてなんとか再現しようとしました。まさか、こんなところで現実世界の経験値を問われることになるとは。
それでも少し工夫してみるとさっきより明らかにミニチュア感の出た可愛い雰囲気になったので、そういう変化は楽しかったですね。
Figmaでの構成と微調整
ここで、一度Figmaを使いながら、文字の配置などをして、完成形をイメージしはじめます。
特にキャンプファイヤーの最終シーンは、イラストを大きく使いたいと思い、イラストだけのページに変更。前後に文字を読ませるページの追加を決めました。ここから、細かい照明の調整などをして絵本の絵素材を完成させていきます。初期段階は全体的にどこか逆光気味で、影が強く出てしまっていました。第2稿ではそれらに改善が加えられました。背景に大きな平面をつけたことも影響していそうです。
もっと粘土風にしよう
更なるライティングやレイアウトの調整、フリガナの追加をして出来上がった第3稿。
ここまで来ると、あれ、自分が思っていたよりもクオリティ高いものができるんじゃないかと欲が出始めます。そこで導入するか悩んだのが粘土シェーダー。これを適応するとCGが粘土のようにみえるというものです。
シェーディングはやったことがないし、スペック不足で使えなかったりしたら4500円をドブに捨てることになります。かなり悩んだ上で、買ってみることにします。
結果は大正解！本当に簡単な操作だけで粘土っぽさが出せて、クレイアニメ風を目指していた僕の作風にはぴったりでした。
そうしてシェーダーを全て粘土に差し替えて、ライティングなどの微調整を繰り返していき、ついに絵本が完成します！
絵本を製本するぞ！(2023年8月)
ついに絵本の中身が完成しました。ただ、もちろん自分の本を作りたいというのは自分の本が手元に欲しいということです。ということで、ここから絵本を発注していきます。
使うのはしまうまプリントのフォトブック。A5スクエアサイズが用意されていることがお気に入りです。正方形の絵本かわいいものね。アルバム目的ということで1冊だけの注文でも値段がお手頃ですし、オプションを積めばハードカバーで質の良い印刷もできます。ありがたい！
ということで、ついに自分の絵本が手元に…！やっぱり、自分で作ったものがモノとして手元にくるのはすごく嬉しいですね。
本を作りたい and beyond!! (2023年9月)
自分の手元に届いた時点でもう大大大満足だったわけですが、せっかく作ったので色々な人に見ていただこうということで、絵本を超えて制作をしていきました。
noteへの投稿
ここまでこの文を読んでくれたのならば、ぜひ読んでいただきたいですね。note上での展開でこだわったのはフリガナです。子供向けを意識してはいたので、漢字にふりがなを振っています。
絵本販売！
せっかく手元に形があるのだからと、何冊か用意してみました。ショップを作るところからはじめて販売中です。手元においてもいいなという方はぜひ！
読み聞かせ動画を作ろう！
えほんの完成と公開方法を悩んでいた時にYouTubeチャンネル「あめのちあれれ？」に動画として投稿してみない？と一緒にチャンネルを運営しているtoyakunに提案を受けます。完成した絵をズームやパンをしながら、読み聞かせして届けてはどうかと。
はじめての「アニメーション」
せっかく3Dで作った絵、それならばということで、読み聞かせ中に絵の一部をほんの少しだけアニメーションしてみることにします。主人公のサルとカメラだけを動かす方針で、キーフレームを打っていきます。ここもシンプルにしてやり切るがモットーです。昔AEやPrなどで少しだけキーフレームに触れていたので、悩まずにはじめれました。とはいったものの、アニメのことなどよくわかっていません。自分がいかに周囲の「動き」を観察していないかがわかりました。
そんな中でも、オープニングとエンディングに本を開くアニメを入れられたのはとても良かった。この動画の中で一番動きがあり、えほんの読み聞かせだと感じさせられるパートかなと思ってます。
はじめての「スタジオ録音」
さて、動画ができて最後につけるのは音です。せっかくここまでやったのだから音もこだわったほうがいいよとtoyakunに連れられて、はじめてスタジオというものに行きます。勝手にスタジオに怖いイメージを持っていたんですが、入ってしまえばカラオケのような雰囲気で全然怖くありませんでした。大人の音楽室って感じ。
録音関連の諸作業をtoyakunにしてもらいながら、えほんの読み聞かせを何度か撮りました。なんだかんだで環境に緊張。というか、単純に声を作品化するのって難しいなと感じました。サッカーで足が思ったように動かないことがあるみたいに、声もアクセントや発音を調整しきれなくて、思った通りの読み方にならなかったり。ここらへんは、もっと上手くなりたいなと強く思いました。
更に、Jazzっぽさを意識したBGMを作ったり、録音した音声を編集したり、サムネを作ったり、字幕を入れ込んだりして、やっとこさ動画版も完成です。
まとめ
ということで、ChatGPTを使った物語の制作から、Blenderでのシェーディング/ライティング/レンダリング、アニメーションの制作にスタジオでの録音まで。想像以上にたくさんの「はじめて」を経験しながら、絵本を作ることができました。
そうした「はじめて」に遭遇して感じたのが「知らない視点で世界を見る面白さ」です。ライティングもモーションも普段当たり前に見ているのに全くわかっていないこと知り、改めて観察することがすごく面白かったです。それは世の中の創作物の工夫を知ることであり、対象物を細かく観察することでもあったからです。これまで、どんな動きの連続で歩いているのかを知らなかったし、テレビの女優が綺麗に映る理由を知らなかったのです。その知らないことに気づいて否が応でも興味を持つプロセスがとにかく面白かったです。
次作るときに改善したいこと
最後におまけ的に反省点を振り返ります。
文章について
今回、後付け的に読み聞かせまでしたのですが、実際に読み聞かせをすると、その文章の絵本としての良し悪しがよくわかるのだなぁと思いました。例えば、自分の噛んでいるところとか、読みにくいところとか、アクセントが想定通りに行っていないところとか。絵本を読み聞かせる体験を届けるということを考えると、その読みにくいところは言葉選びやリズムを間違えたところなのかもしれないなと思いました。また、読んでみると、この単語使うのは難しすぎるのでは？とかが見えてきて読むことの大切さをひしひしと感じました。本当はきちんと対象年齢を設定してその年齢に向けて読み聞かせをしていくべきですね、なかなか難しいですけど。子供向けのフリをしてるだけの物語になっちゃったかもなぁというのは反省点です。
大まかな物語の流れをGPTに作ってもらうこと自体は成功したなと思います。結果として、GPTの文章のおかげで、イラスト含む色々作ってみるきっかけになりました。話もある程度は面白くできます。ただ、やっぱり少しいい子ちゃんな回答が出てきてしまうのは間違いないので、そのまま鵜呑みするのではなくて、それを叩き台にもう少し物語の内容をブラッシュアップしてもいいのかなとも思いました。物語に引っ張られて少し文章が長くなってしまったり、えほん的な次のページへのヒキみたいな要素をうまく作れなかった気がしています。次にやるならばもっと児童書を読んで学んでから臨みたいですね。
イラストについて
シンプルな図形を組み合わせたシンプルなイラストを心がけるとどうしても安っぽく見えてしまうので、いかにしてCGの雰囲気を消して粘土で作ったように見せるか、どのようにシンプルだけどリッチな出来に見せるかには改善の余地が多いと思いました。特にライティングのあたりはまだまだわかっていないけど、それで雰囲気をガラリと変えられるので知っていけるといいな。
動画について
実際できた動画を見ると、やっぱり動きがないと最後まで見ていられないなぁと思いました。えほんの読み聞かせ形式のいいところはコストを下げながら物語を伝えられるところですが、動きが少ないとやっぱり動画としては少し退屈してしまいます。素人の読み聞かせなら尚更かも。動画を最終アウトプットに据えたい場合は、絵本をベースにするのはそこまでかなと思いました。
何はともあれ、最後の形にするところまで動けたことが一番偉かったです。自分で何かを創るのは楽しい！それで十分！
