CP+2024で感じた「動画生成AI」の楽しみ方
今年も行ってきました、CP+2024。コロナ禍以降セミナーがオンラインでも見れたりするので、正直わざわざ行く意味あるのか？とは思っていますが、結局行ってきました。めっちゃ寒かったです。
X100VIが直前に発表されたりして新機種を触ったりもしてきましたが、どちらかというとセミナー参加と小型ブース巡りがメインで毎回参加しています。今回もいくつかセミナーには参加しましたが、気になったのは「生成AI」について。個人的にAIの進化は大歓迎なのでどういった事ができるのかフォローはしていますが、特に「動画生成AI」のセミナーでヤバいヤバいと言われていたのが「SORA」と「RunwayML」と呼ばれるサービスでした。
Chat GPTでお馴染みのOpenAIが最近リリースした「Sora」というサービスは、まだ一般利用はできないものの文字から動画を作成する技術（text2video)が更に進化したとか。同様のtext2videoはRunwayMLにも実装されていますが、こちらは画像を基に動画を作る技術（img2video）で、動かす対象や方向を指定できるのが面白いんだとか。
そんなわけで、早速RunwayMLのtext2videoで「ジープが海に飛び込む」という動画を作ってみました。
4秒の動画が作れて4回まで延長可能なので、今回は8秒にしています。プロンプトには改善の余地がありそうですが、ジープ1台廃車にしないと撮れない映像が文字のみで生成できてしまうのは驚きです。もっと豪快な画を想像していたのですが、海が荒々しいからヨシ！
これは何か自分の写真活動に活かせるのでは？ 私は普段カメラ一つ身一つで街スナップに出るのですが、たまに「人が入るともっと良いかも」と思う事があります。そんな時ちょっと思っていたのが、生成AIで足したら面白そうという事。表紙の写真がまさにその例で、中国で泊まったトイレまでスケスケなホテルの写真に、Stable Diffusionで女性を特殊召喚しています。ちゃんと女性に合わせてベッドが凹んでるのがすごい。
ただ写真に人を追加するのは正直Photoshopでもできるので、もう一捻り面白い事ができないかと思っていたところに、湧いて出てきた動画生成AI。試しに台北で撮った写真をRunwayMLに読ませて見ると、、、
※元写真は下記より
Party☆Nightな台北101になりました。右の木が突然ビルになるのも含めて、これはこれでAIっぽくてアリ。
RunwayMLの操作としてはこんな感じ。空・左の人・右の人に対してそれぞれ動かす指示を与えています。Auto-detectを有効にしていると関連しそうなところは自動で選択してくれます。作業時間10秒弱。木には指示を出していないのがミソ。
更にカメラ移動も指示できるので、変化と同時にカメラを上昇させました。先程現れたビルは木の後ろにあったのですね。
問題はそこではなく、これが写真1枚から生成されているということ。今まで私が（ぶっちゃけ面倒で）手を出していなかった動画という世界に、私よりはるかに独創的な形で参加できそうな気がしてきました。
更に更に、スナップ写真と画像・動画生成AIを用いてどんな「新しいクリエイティブ」が生み出せるかをChat GPTに訊いてみました。彼奴は最新のRunwayMLを知りませんが、返って来た提案は下記の10件。
四季の移り変わりを表現するタイムラプス動画
幻想的な風景の創造
時間旅行をテーマにしたストーリー動画
抽象的な風景アートの制作
未来都市のビジョンを描く
音楽とのシンクロを図った風景動画
異なる文化や歴史の融合を表現するコラージュ
逆転した視点からの風景表現
幻想的な生態系の創造
風景の変容をリアルタイムで捉えるアートインスタレーション
最後の方は捻り出した感もありますが、太字にしたのはちょっと気になる。撮ってきた写真を元に季節や時代が異なる風景を生成して、動画生成AIでつなげる感じでしょうか。これならマンネリした写真にも相当強めな刺激が与えられそう。ついでにRunwayMLにもドル建てで課金しそう。
「生成AIがクリエイティブとか草」という意見はよく見ます。1から10まで生成するものについてはモデルの存在も含めて疑問ではありますが、今回参加したセミナーでも言っていた「自分の好きなところは自分でやって、そうでは無いところをAIに任せる」というのはAIとの正しい付き合い方だと思いますし、一度やってみると想像以上に「クリエイティブ」だと思います。何より自分の可能性が広がる感じが楽しい。そこから本当に動画撮影にも手を出してみたりして。
おまけ：表紙の美女にこっち向いてもらおうとした結果。