1+4=作品解説～Move Decoding(Voxel)編①～
合同展示会『1+4=』を開催しました
自分が代表と務めるメディアアート集団"WONDEMENT"は昨年12月3〜9日の7日間、横浜・桜木町の横浜市民ギャラリーで第4回展示かつ初の合同展となる『1+4=』を開催しました。
WONDEMENTメンバーが学生時代に立ち上げた桜美林大学のメディアアートサークル「Mapper」との合同展である本展示ではメイン作品1点とサブの作品2点の合計3点を展示し、自分が全体のプロデュースと2つの作品制作に携わっています。
今回はその『1+4=』で展示し、メイン作品として制作した『Move Decoding(Voxel)』の作品解説初回になります。
作品詳細
今回noteで取り上げるのは『Move Decoding(Voxel)』です。
クレジット
プロデューサー、ディレクター、プログラマー、3DCG
：SUKE
プログラマー
：セカオザ
作品説明
『Move Decoding(Voxel)』のデコーディング対象は人の「動き」です。
会場内に設置されたWebカメラとKinectを使い鑑賞者のいる空間を記録しそれをボクセル化した3D空間にした上で鑑賞者の正面壁一面に映像を投影します。
鏡写しの様に見えて少し違うという体験型のインタラクティブコンテンツになっています。
また、他2作品とも連動しておりそのデコーディング結果が作品にも影響を及ぼす形となっています。
使用ソフト等
TouchDesigner
Unreal Engine5（ver5.3）
NDI
Kinect SDK（Kinect動作用）
コンセプト
何をデコーディングする？
『HeartBeat Decoding2(Emotion Words)』の解説でも触れた通り、展示そのものはMapperとの合同展であり、WONDEMENTとMapperそれぞれの1周年と4周年を祝いその活動過程を伝える展示内容になっていました。
しかし、それとは別にWONDEMENTが制作する複数の作品では別途統一的なコンセプトを持って制作したいということになり、そこで「身体のデコーディング」というコンセプトが確定しました。
『HeartBeat Decoding2(Emotion Words)』では人の心拍と重量、
『Facial Decoding(Sound)』では人の表情をそれぞれデコーディングしていますが、いくつかデコーディング出来そうなものを候補出しする中で、本作品では人の動きそのものをデコーディングすることを考えました。
何で作るか
TouchDesignerの限界
元々、本作品のアイデアはInstagramでこの投稿を見つけたことがきっかけでした。
人の動きをリアルタイムに反映して画面内にパーティクルをまとった人形が出てくるという内容ですが、ここから人の動きをトラッキングするという考えと思いつき、それと同時にリアルタイムCGによるパーティクルも必要と考え、今回はそれが仕組みの肝になってくると思っていました。
WONDEMENTでは基本的にTouchDesignerを使って制作をしていて、1st展示「encounter」などではTouchDesigner上でリアルタイム3DCGを使った経験もあります。
しかし個人的な感想としてTouchDesignerの3DCGはあまりクオリティの高いレンダリングが出来ないイメージがありました。
今回はWONDEMENTの1周年を記念する展示とその作品ということもあり、コンテンツの中身だけではなくその見た目もリッチなものにしたいという思いがありTouchDesignerだけでは限界なのでは無いかという考えがありました。
3Dをリッチに
「リアルタイムCGとインタラクティブコンテンツの制作に最適なソフトウェアは何か」
この課題をクリアするにあたって候補として考えたのは「Unity」と「Unreal Engine」でした。
https://www.unrealengine.com/ja
いずれもゲームエンジンとしてだけではなくメディアアートを初め「ノンゲーム」と呼ばれる用途でも使われるエンジンですが、今回はこの中からUnreal Engine、正確には当時の最新バージョンであったver5.4を使って開発を行うことにしました。
Unreal Engineの方がLumenといったよりリッチな表現が出来る機能を搭載しているため今回の意図にも合うと考えました。
最後に
長くなってしまったので今回はここまでです。
この『Move Decoding(Voxel)』はWONDEMENT史上最も複雑で制作に苦戦したコンテンツということもあり、相当な回数に分けて解説をお届けする予定ですので、気長に待って見ていただければと思います。
次回は元アイデアにはあったパーティクルから最終的にボクセル表現に至った経緯と実際のシステム開発の一部について解説していきます。
それではまた！