見出し画像

STYLY for Vision Pro Challenge　-Resonance of the Metal Floraの制作ウラ話-

Fujito

こんにちは。Fujitoです。今年、STYLY for Vision Pro Challengeに参加させていただきました。その時の作品の紹介と制作の振り返りをしていきたいと思います。


"Resonance of the Metal Flora"という作品を制作

作品概要

"Resonance of the Metal Flora"は、Resonance Seederと呼ばれる装置から放たれた種子（Pod）が空間に触れるたび、金属質の植物（Metal Flora）として瞬時に咲き誇る様子を楽しめるAR体験です。
Metal Floraは周囲を反射し、淡い光を放ちながら刹那的に生命を燃やします。 Podは現実レイヤーの空間にのみ反応します。装置や金属ブロックの位置を調整し、さまざまな場所でMetal Floraを開花させてみてください。
植物が咲き誇り、散る瞬間、視覚と聴覚の共鳴が空間を変化させ続けます。この瞬間を捉え、インテリアの一部として、またマインドフルネスな体験として、新たな風景を創造してください。
その一瞬の風景は、存在の儚さを問いかけ、深い余韻を私たちの心に残すでしょう。
Resonance of the Metal Floraにはhakoniwaタイプも用意しており、こちらは多面体の床の上で、Metal Floraが音と共に瞬時に咲き誇ります。
ソファに座りながら、作業しながら、外で休憩しながら等、様々なシーンで利用することを想定しています。 盆栽のような、楽器のような、バーチャルなインテリアとして空間の一要素になりうると考えています。


STYLY for Vision Pro Challengeとは？

そもそもSTYLY for Vision Pro Challengeとは何かですが、6/28 に日本発売した Apple Vision Pro（AVP）を参加クリエイターに無償で貸し出し、「STYLY for Vision Pro」を用いたコンテンツ制作をリレー形式で行うクリエイター共創プログラムです。

現地説明会に参加

こちら結果的に月に2人程度の倍率なのですが、なんと8月のタームに当選しまして1か月間、AVPを制作に使わせてもらえることになったわけです。


何をつくるか・・・

とは言え、発売してから、知り合いの方たちに体験させてもらっていた程度で、AVPの開発そのものはしたことない状態です。
1か月しかない中で何をつくるのか、そもそもコンテンツ事例が少ない中で、当時は今ほど公式からのドキュメントが少なく、STYLY for VisionProで何ができるかもわからない状態でした。
返却期限があるので、企画もそれを加味して完成させられるものを前提とすることにしました。


まずはスケジュールの立案

まずは、ざっくり下記のようなスケジュールを立ててみました。
かなり多忙な時期にねじ込んだこともあり、そこまで制作時間を確保できなかったのですが、検証を兼ねつつ、企画を立案し、最後に一気に組み立てるように計画していきました。

想定スケジュール
～8/4　開発環境/事例リサーチ/コンテンツで遊ぶ/STYLYforVisionProの仕様
～8/11　技術検証/技術アセット制作/企画決定
～8/18　企画案制作
～8/25　企画案ブラッシュアップ
～8/27　バグ修正
～8/29　動画撮影・編集
8/30　機材返却・SNS投稿

制作スタート

初期検証：とにかく触ってみて考えるフェーズ

初期検証として、AVPとSTYLY for Vision Proをとにかく触ってみることから始めました。リリースされているコンテンツで遊んでみたり、STYLY for Vision Proの作品を体験してみたりと、このデバイスの特徴を読み解くことから始めました。

この過程で、バーチャル側から現実空間に干渉したいという感覚を得て、企画を練り始めました。大枠としては、環境光による金属の質感の再現がとてもキレイだったので、これを活かしたコンテンツにすることにしました。

STYLY for Vision Proは、従来のSTYLYとは異なるプラットフォームであるためルックの部分は初期検証の際にどうなるのかいろいろ確認していきました。

昔作ったコンテンツをアップロードしてみたり
描画確認をしてみたり


中期：立ちはだかるVisualScriptingの壁

STYLY for Vision Proは、制作にVisual Scriptingを使用します。コンテンツを動かすためには必須の項目です。今まで触れたことがなかったのですが、このタイミングでVisual Scriptingと向き合いました。

一から学んでいる時間はないので、企画の中でギミックとして必要な箇所に絞って、リサーチしてみました。しかし、全体的にもVisual Scriptingの解説記事が少ないので、かなり苦労したのを覚えています。
普段からコードを書いているわけではないので、実装面ではかなり苦労しました。

7月に先行してこのプログラムに当選していた41h0さんにいろいろと質問させていただき、基礎的な部分を理解していきました。
ChatGPTも補助的に活用しています。

この時点で、自分の企画の核になる、リアルタイムに生成されるメッシュにコライダー判定をとる仕組み等を整えています。


後期：企画決定。そして制作へ。

基本的な仕組みを理解した後は、残り時間を踏まえつつ、企画を整理して決定していきました。コア機能をなるべく作ることを意識して、付加的な機能は、今回はそぎ落としています。

そして一気に制作に移ります。システムは中期までに作成した基本的な仕組みをベースにして組み立てていきました。ビジュアル面も機械的なものから生成されるイメージでしたのでスチームパンク的な世界観のものをモデリングして制作しています。先述のとおり金属感がとてもきれいに感じられるので、テクスチャはメタリックのテクスチャを意識しています。

Resonance Seeder、pod、hakoniwaの作成
アニメーションもついています。

生成される金属の植物も、カスタムシェーダーが使えないということで、テクスチャ側で色相の幅を取り、それをアニメーションさせる手法で色の深みを演出するようにしています。
パーティクルも同様に、ポストプロセスが使用できないことから、テクスチャ側の工夫で映像のようなフワッとした感じを作りました。

金属の植物も三種用意

そして実装面では、やはり少し詰まってしまい、
制作用のサーバーでやり取りさせていただきながら、なんとか完成。

そして撮影を終え、無事にフィニッシュ。

撮影ではみふくさんのご協力やNEUUさんを借りたり。ありがとうございます。


初のAVPの制作をやってみて

この作品は、初期検証の際に感じた、バーチャルで起こることが現実空間にも干渉してほしいというところから実験的に制作しています。

その中で、
・バーチャル側のレイヤーに、コンテンツを出すことで、現実空間のインテリアのようになるのではないか。
・視覚的にだけでなく、聴覚的にもアプローチすることで、より空間として身体にアプローチできるのではないか。

ということを感じました。

実際、空間の中でボーっと眺めたり、音の反響が意外と心地よかったりと空間のインテリアとして身体に干渉するマインドフルネスな体験を創出できているのではないかと思います。

ちなみにSTYLY for Vision ProではboundedとUnboundedのコンテンツを制作することができます。Resonance of the Metal Floraでも、空間全体を使用するものと箱庭的にそばにおけるものの2種類を制作しています。

unboundedとboundedの2バージョンを制作しました。

体験者の皆様


STYLY for vision Proに触れてみて

今回皆様のご協力のもと、なんとか作品を完成させることができました。本当にありがとうございました。
STYLY for vision Proについては、私のようなクリエイターでも使っていけそうだと思うものでした。制約はあるものの、コードに苦手意識のあるクリエイターが、AVPの作品やコンテンツをつくるのであれば、STYLY for vision Proかなと思います。2025年にもいくつか制作してみようと思っています。

それでは！

※この記事はSTYLYアドベントカレンダー2024の参加記事でもあります。


いいなと思ったら応援しよう！

Fujito
よろしければ応援お願いします！ いただいたチップはXRの研究やクリエイターとしての活動費に使わせていただきます！♡や記事のシェアでもとても嬉しいです！！