Qosmo AI-Generated Barrier-grid Animation New Year's Card 2024 – 生成AI（ControlNet）とバリア・グリッド・アニメーションを用いた年賀状の制作

2024年1月12日 09:21

About card

あけましておめでとうございます。また、能登半島地震で被災された方へ心よりお見舞いを申し上げます。

さてQosmoでは毎年、年始めにGreetingをお送りしており、昨年は生成AIタイプフェイスを用いたオリジナルカレンダーをご送付しました。

今年は封筒から、年賀状を取り出しながら新年のメッセージを読んでもらう年賀状をご送付しています。取り出した後にはメッセージは隠され、封筒に入れた時にだけ読めるような仕組みになっています。

昨年も生成AIによる様々な表現が話題となりましたが、その中でも生成した風景の中にメッセージが自然と溶け込んでいる（よく見ると読めるというような）表現にインスピレーションを得て制作を開始しました。

literal controlnets distributed by GPT-5 will subliminally manipulate you into becoming a better person pic.twitter.com/gHupdRjKRO
— fabian (glif/acc) (@fabianstelzer) September 21, 2023

またお正月には福笑いや、かるたなど特有のいろいろな遊びがあります。そのような遊びにあるようなインタラクションの要素と、前述した生成AIのアイデアと組み合わせないかを考え、バリア・グリッド・アニメーション（Barrier-grid animation）という手法を使用し、隠れたメッセージを黒の編み模様を通してメッセージを読んでもらうこととしました。

モチーフは年賀状のため、富士山や、初日の出でスタディをしたのですが今回用いた手法ではモチーフが矩形である必要性が高く、断念しました。そこで採用したのが都会的な風景にあるビル群のモチーフです。矩形で風景になるバリア・グリッド・アニメーションには最適なモチーフです。

Technology

今回、年賀状の生成にあたっては、Stable DiffusionとControlNetを使用しました。Stable Diffusionはテキスト（プロンプト）から画像を生成するAI、ControlNetは入力した画像を使用して、生成される画像を制御する技術です。ControlNetを使用することで、線画を入力して画像の構図を制御したり、棒人間の画像を入力して生成する人間の姿勢を制御したりすることができます。

今回はControlNetの中でも、QRコードを入力することで生成画像の中にQRコードを埋め込むことができるQR Code Monsterというモデルを使用しました。QR Code MonsterはQRコード以外にも、例えば文字の画像を入力することでだまし絵のような画像を生成することができます。

このQR Code Monsterにバリア・グリッド・アニメ―ションの画像を入力し、年賀状用の画像を生成します。
バリア・グリッド・アニメーションの画像作成は、京都精華大学のScott Allenさんが公開されている授業資料の中にProcessingを用いたアニメーション作成のデモ動画がありましたので、そちらを参考にさせていただきました。Scottさんありがとうございます。

こうして作成した画像をControlNetに入力し、画像を生成します。画像としての自然さとアニメーションの読み取りやすさは基本的にトレードオフになるので、そのバランスを取りながら画像を生成し、最終的に生成したものの中から年賀状に使用する画像を選別しました。