幼少期に観た映画やTVドラマの記憶を生成AIで創造する試み - Blog 2024/1/7
画像生成AI・動画生成AIを活用して、記憶の世界を視覚化する実験を始めています。自分の頭の中にある「都合よく創られた記憶」を忠実に表現してみたいという願望を、生成AIで叶えてみようという試み。
過去の歴史を調べて、現実を再現するのではなく、幼少期～少年期を思い出して、頭の中で構築された「曖昧な記憶」をカタチにしていくアートワークです。
関連記事：
以下は、新年5日（金）と7日（日）に作成したGenAI パラレルユニバース「Another Tokyo」のシリーズ6と7です。
※GenAI パラレルユニバース「Another Tokyo」は、（過去の歴史の再現ではなく）もう1つの日本を再構築する実験ショートムービーで、生成AIを最大限に活用しています。
幼少期・少年期の記憶といっても、現在20歳の人と50歳ではまったく対象が異なります。仮面ライダーで例えるなら、今の子どもは「令和仮面ライダー」のリバイスやギーツ、ガッチャードを観ているし、20歳なら「平成仮面ライダー」のキバとかディケイドあたりが懐かしいはず。50歳以上は「昭和仮面ライダー」ですね。
今回は、仮面ライダーBLACK、ウルトラマン80くらいの80年代がターゲット。
Another Tokyo (GenAI Parallel universe) vol.6
再生時間：50秒
画像生成：Midjourney V6 (alpha)
ビデオ生成：Runway Gen-2
音楽生成：Suno AI ／ 歌詞の生成：GPT-4
編集：After Effects
制作者：1人
制作時間：4日間（18時間くらい）
Another Tokyo (GenAI Parallel universe) vol.7
再生時間：43秒
画像生成：Midjourney V6 (alpha) ※2024年1月6日アップデート版
ビデオ生成：Runway Gen-2
音楽生成：Suno AI ／ 歌詞の生成：GPT-4
編集：After Effects
制作者：1人
制作時間：2日間（12時間くらい）
この2本の「作り話」を1人で、しかも1週間弱で制作できる時代になってしまったことに驚きを隠せません。
ビデオ生成の商用利用が本格的に定着していくのは、2025年以降と予測していますが、コンシューマー向けサービスにはすでに実装されていますので（CanvaとRunwayの提携）、2024年はまずAdobe ExpressやCanva、Microsoft Copilot 等のExtensionから始まり、2025年以降、Premiere Proなどを対象にプロ仕様の機能が実現するのではないかと考えています。
記憶の中の秋葉原・電気街を描く
「生成AIを駆使した映像制作の全プロセスを紹介」で紹介した「ラフイメージ」のプロセスでは、画像生成AIをスケッチツールのように使います。
「Another Tokyo vol.7」では、1980年代のパーソナルコンピューターや秋葉原の電気街などをモチーフにして、ラフ生成しています。
現実の再現は生成ポリシーで禁止にしているので、当時のFM-7とかPC-98シリーズに酷似したパソコン画像などは排除していきます。意図的に「それっぽいイメージ」を描くのは、意外と大変で時間がかかります。
現実を再現しない理由：
例えば、X68000 (1987年) を生成AIで再現して、その画像がネットに蓄積されてしまうと、アーカイブの信頼性が低下してしまうリスクがあるからです。
現在CGなどを活用して作成されている報道や教育の再現映像などは該当しません。また、映画やドラマの中に含まれる歴史の再現なども同様。
※現実のパソコンに酷似したイメージは削除
※以下の生成画像は、1月6日にアップデートしたMidjourney V6 (alpha)を使用していますので、5日以前のV6 (alpha) で検証したプロンプトの書き方を大幅に修正しています。
Kinemacolor 1980s Japan. Personal computer and cassette tape machine to record data in the 1980s. Personal computer sales floor in Akihabara in the 1980s --ar 16:9 --s 50 --style raw --v 6.0
同じプロンプトをDALL·E 3 (Image Creator) とAdobe Fireflyで使用すると、以下のようになります。Fireflyでは、視覚的な適用量を0にしています（Midjourneyの --style raw に合わせています）。
頭の中にある記憶の秋葉原 (1980年代)
看板などの再現は、商標権のリスクを回避するため、曖昧なイメージのまま使用するか、画像処理で架空のデザインに置き換えます。「Another Tokyo」シリーズではそのまま使っています。
Kinemacolor drone view. Kinemacolor 1960s Japan. Akihabara's Electric Town. shopping district in 1960s Tokyo. --ar 16:9 --s 50 --style raw --v 6.0
街並みの広告・看板などのテキスト生成は、上記のリスクがある限り、精度を上げにくいと思いますが、意図的に挿入するテキストは精度向上が期待できます。
Midjourney V6 (alpha)では「"Happy New Year!"」のように記述することで、画像内のテキストを表現できます。ただ、スペルミスも多く成功率はまだ微妙なので、実作業ではPhotoshopで追加する方が現実的です。今のところは技術面での関心にとどまっています。
The office lady is holding a small whiteboard explaining, The word "Happy New Year!" is written on the whiteboard. 18, Super cute Japanese girl, Stock Photo Service Photography, white background --ar 16:9 --s 25 --style raw --v 6.0
記憶の中の秋葉原・家電量販店
ブラウン管のモニターは生成しやすいので、当時の雰囲気は表現可能。
NECのPC-98や88に酷似した筐体が出てきたら排除していきます。
Kinemacolor 1980s Japan. Personal computer sales floor in Akihabara in the 1980s --ar 16:9 --s 25 --style raw --v 6.0
喫茶店に置かれていたテーブル筐体のビデオゲームは表現できず、アップライト筐体のみ。テーブルのスペースインベーダーは、私も1970年代後半のドキュメンタリーやドラマのシーンでしか見たことがないので、創造が入り混じっています。
Kinemacolor 1960s Japan. An invader game machine in a 1970s Japanese coffee shop. --ar 16:9 --s 50 --style raw --v 6.0
頭の中にある記憶の1970年代特撮ドラマ
このジャンルは昨年、Midjourney大量に生成していましたが、V5のプロンプトがV6 (alpha)で流用できなかったので、新たに書いています。
「Tokusatsu」が効くので、それっぽいイメージを生成してくれます。
Kinemacolor 1960s Japan. Japanese Tokusatsu Future Films of the 1960s --ar 16:9 --s 50 --style raw --v 6.0
Kinemacolor 1960s Japan. film still, a scene from a Japanese tokusatsu movie from the 1960s. Giant Monsters --ar 16:9 --s 50 --style raw --v 6.0
「安全な生成AI」というアプローチで学校などの教育現場にも提供しているAdobeやMicrosoft (Bing Image Creator Improvements with DALL·E 3) は、スーパーヒーローや怪獣などのプロンプトを「アート」スタイルで生成するので、高忠実度にしていくと実写表現はかなり難しいです。
この領域は、MidjourneyとStable Diffusionの二択になります。
生成画像・生成ビデオの管理は、Adobe Bridgeを使用。比較検討のツールとしても活用できます。
ショートムービーは、After Effectsで完成させます。ぬいぐるみ怪獣の動きやピアノ線で吊られた戦闘機のチープなモーションの演出は、After Effectsで処理できますが、3DCGのように洗練された映像にならないように注意しながら調整します。かなり難易度高いですが…
自主映画制作における創造性と実験性
個人レベルの自主映画制作では、商業的な制約が少ないため、独創的なストーリーテリング、実験的な映像表現、非伝統的なキャラクター開発など、従来の枠にとらわれないアプローチが可能です。
圧倒的な制作スピードによって、より特異な創造的ビジョンを追求しやすくなります。
今後数年で起こるかもしれない、生成AIを駆使した自主映画制作のムーブメントは、技術的なアクセシビリティの向上、創造性の拡張、コストと時間の削減、映像実験の場の提供など、多くの利点をもたらすと考えられます。
もちろん、権利侵害のリスクやAI倫理に注意を払い、最先端技術と一緒に勉強し続けることが大前提となります。技術的に可能でも「それはやらない」という迅速な判断力が重要です。
生成AIは、多くの創作者にとって「納得できない技術」であり、何らかの規制や公平なインセンティブの仕組みを望んでいますが、技術進化がストップすることは考えにくいため、同時並行で議論していく必要があります。
1980年代後半「デザインをダメにする装置」と揶揄されたパーソナルコンピューター（具体的にはMacintoshとPostscript）も、パラダイムシフトによりデザインの道具となりました。
ビジュアルイメージを生成したり、映像や音楽を生成することが許容されるクリエイティブの未来とは、どのような世界なのか、まだ想像することもできません。
子どもたちが、生成AIによる（作者不在の）ショートアニメや子ども番組に熱中する未来はくるのでしょうか？
Kinemacolor 1960s Japan. A child is eagerly watching a TV cartoon. --ar 16:9 --s 25 --style raw --v 6.0
今月の第10回・報告会は、27日（土）AM10:00 - 11:00 です。
先月の報告会：
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2023年2024年1月7日（日）／公開日：2024年1月7日（日）