見出し画像

【第1回】動画生成AI×LensStudioでSnapChatのARフィルターをつくる(全3回)

デザイニウムXR

デザイニウムはAIを駆使して、SnapChatのARフィルターを制作しました。この記事では、動画生成AIとLensStudioを融合させることで、新たな表現を探求したプロジェクトの舞台裏をご紹介します。

第1回では主に使用した3つのツールをご紹介します。


はじめに

こんにちは、デザイニウムのCGクリエイター・秋山です。日々、生成AI技術の進歩が加速していますね。社内でもR&Dとして生成AIを様々な形でARに応用する試みを行っています。

例えば「Magical Forest」ではChatGPTに相談しながらストーリーを決め、Midjourneyでテクスチャや2D画像素材を作成しました。

今回は動画生成AIを活用しました。
画像生成AIでプロンプト（指示文）や参考画像から画像やイラストを生成したように、動画生成AIではプロンプトや参考画像から動画が作り出せます。

この新たなAIツールを組み合わせ、さらにSnapChatが提供する開発環境LensStudioを活用してARフィルターを作成しました。

今回はその素材制作のプロセスをご紹介したいと思います！

制作したもの

「FaceFusion」というタイトルを冠した、日本<JP>、アメリカ<US>、フランス<FR>、インド<IN>の4種類のフィルターを作りました。各国に由来する、あるいは代表とする人物の姿や顔になってARで遊ぶことが出来ます。

例えば日本の場合だと、体験者の顔が力士・舞妓・侍の人物イラストに融合した姿になって遊ぶことができます。

SnapChatアプリから、以下のコード画像を読み込んでお試しいただけます。

コード画像

フィルターの素材となる画像と動画のビジュアルはすべて生成AIを使って制作しています。元となるイラストをChatGPTのDALL-E3で生成して、Runway-Gen2で動画化、Photoshop（Adobe Firefly）で一部修正を行い、ビジュアルを作成しました。それらをLensStudioを使って実装し、ARフィルターとしてパブリッシュしています。

ただ4種類制作したうちの一つ、インドのフィルターはリジェクトされてしまいました。その理由については第3回の記事にて説明します。

使用したツールの説明

制作プロセスの解説の前に、使用した生成AIツール（DALL-E3、Runway-Gen2、Adobe Firefly）について簡単に解説します。

DALL-E3

ChatGPTの機能の一つである画像生成ツールです。
他の画像生成AI、例えばStableDiffusionやMidjourneyとは異なり、ユーザーが使いたい言語・文章形式で指示を出し、対話を通じて画像を生成することができます。

先述のStableDiffusionやMidjourneyでは画像生成のために適切な単語を検討して、翻訳する必要がありましたが、DALL-E3の場合は思いついた言葉をそのまま伝えればいいので、より自然な形で画像制作を進められます。


Runway

2024年1月現在は複数の動画生成AIサービスがありますが、その先駆け的な存在がRunwayです。
「Text/Image to Video」という動画生成機能を持ち、ユーザーがプロンプトを入力したり、UIでカメラワークを指定したりすることで動画を作成可能です。既存のイラストに動きを付け加えることもできます。今回は後者の方法を利用しました。

また、Runwayには「Flame Interpole」という機能があります。これは2枚の異なる画像をつなげる動画を生成するものです。

今回はこの「Text/Image to Video」と「Frame Interpole」を組み合わせて素材を作りました。具体的な使用方法は第3回の記事で詳しく説明します。

Photoshop

おなじみのAdobe Photoshopにも「AdobeFirefly」という画像生成AI機能が組み込まれました。そのAIを活用した「生成塗りつぶし」機能を用いて、DALL-E3で出力したイラスト画像をレタッチしています。

例えば、画像がほぼ望んだイメージ通りに出力されても、背景に不自然なオブジェクトや色があったり、人体の一部が不自然な場合があります。そんなときにこの機能を使うと、そのイラストに合うタッチで選択した箇所を理想の形に描きなおしてくれます。

従来は「コンテンツに応じた塗りつぶし」機能を使うことが多かったですが、それよりも自然に画像に溶け込むように修正をしてくれます。


大まかには上記の3つのAIを組み合わせて作成を進めました。
ツールの実際の使用方法は、次の記事に続きます。

エンジニア募集中！

デザイニウムはWebAR ができるウェブエンジニア を募集中です💻話題のApple Vision Pro向けアプリをはじめとした、多彩なXRコンテンツの開発に携われる刺激的な環境です🤩✨テーマを持ってR&Dに取り組むことも歓迎しています。就業はフルリモートなので、全国どこからでも応募できます🏢

カジュアル面談も大歓迎です。ぜひご応募お待ちしています👍

関連記事

動画生成AI×LensStudioでSnapChatのARフィルターをつくる

デザイニウムはAIを駆使して、SnapChatのARフィルターを制作しました。一連の記事では、動画生成AIとLensStudioを融合させることで、新たな表現を探求したプロジェクトの舞台裏をご紹介します。

【第１回】制作に使用した生成AIツールの解説

【第２回】生成AIによるイラスト作成と、修正の方法について

【第3回】Runwayでの動画生成からLensStudioでのセットアップまでの流れ


いいなと思ったら応援しよう！