Hello World作品解説～Tech Synthesizer編②～
展示会『Hello World』を開催しました
自分が代表と務めるメディアアート集団"WONDEMENT"は8月10〜12日の3日間、原宿のデザインフェスタギャラリーで第三回展示となる『Hello World』を開催しました。
本展示ではメイン作品1点とサブの作品2点の合計3点を展示し、自分が全体のプロデュースと2つの作品制作に携わっています。
今回は前回に引き続き、その『Hello World』で展示し、自分が制作に携わったメイン作品『Tech Synthesizer』の作品解説をしていきます。
↓解説第一回はこちら！
↓その他過去の作品についてはこちらにまとめています！
前回までの振り返り
今回も引き続き『Tech Synthesizer』について取り上げます。
前回解説した通り、この『Tech Synthesizer』は「AI」「Self Portrait」「Music」の3つのモードを選択して体験するインタラクティブコンテンツになっています。
超高速に画像を生成出来るStreamDiffusioを活用したAIモードについては前回解説しましたが、今回は残りの「Self Portrait」「Music」の2つについて解説していきます。
Self Portraitモード
自画像を作る
「Self Portraitモード」は文字通りSelf Portrait = 自画像 を作成するモードです。
コントロールパネル上部に付いているwebカメラで取得した映像をTouchDesignerで処理し、搭載された3つのエフェクトを鑑賞者がコントロールパネルから自由に選択、操作することでその結果が正面に投影されます。
仕組みを図解するとこんな感じです。
webカメラの映像がTouchDesignerに入ると共に、iPadのTouchOSCで作成したコントロールパネルの操作情報がOSC通信で同じくTouchDesignerに入ります。
作成したエフェクトはそれぞれ「Pastel」「Line」「BlobTrack」の3つです。
コントロールパネルにあるモードの切替ボタンの下にエフェクトの切り替えとエフェクトの操作ボタンが配置されています。
Pastel
「Pastel」は文字通り映像をパステル調の色味に変換するエフェクトです。
仕組み自体は単純で、"Ramp TOP"で配色したいカラーを作成し"Lookup top"にインポートすることで明るさの違いに応じて配色した色に置き換わる様になっています。
Line
「Line」は線画風に映像を変換するエフェクトです。
仕組みとしてはwebカメラからの映像を"Threshold TOP"で2トーン化し、それを"Trance SOP"にインポートして3Dオブジェクトにトレース、それを"Particle SOP"とLine MATを使って線で描画するようにしています。
線と背景の色は3D上では付けず、"Render TOP"でレンダリングした後に"Composite TOP"を活用して後から付けています。
BlobTrack
「BlobTrack」はTouchDesignerの"BlobTrack TOP"を活用したエフェクトです。
こちらは特に難しいことはしておらず、"BlobTrack TOP"で出てくる枠が視認できやすいように色を付けると共に、コントロールパネルの右側にあるスライダーでノイズの位置を調整できるようになっています。
映像の切り替え
各エフェクトはバックグランドで常に動いている状態になっており、コントロールパネルの操作によって表示されるエフェクトが切り替わる様になっています。
切り替える方法は単純です。
OSC in CHOPで取得したコントロールパネルの情報のうち、エフェクトの選択情報のみを"Select CHOP"で抜き出しています。
映像の切り替えは最終的に"Switch TOP"で行いますが、その為にはデータの名前を1や2といった単純な数字にする必要があります。
ただ現状はインポートされたままの名前なので"Rename CHOP"で改称しています。
そして"Logic CHOP"でRadio Buttonにしてで押されたボタンの信号が選択されたままの状態に出来るようにした上で、"Fan CHOP"を使って押されたボタン（値が0ではなく1になっているボタン）のみが出力される様にすることで切り替えを実現しています。
Musicモード
自分で譜を作り音を鳴らす
Musicモードは紙とシールで自分なりの譜を作り、そのシールの位置と色によって自分なりの音楽を作り鳴らすことが出来るモードです。
メンバーのセカオザがメインで制作を担当しています。
譜を読み取る
ハードの構成はとても単純で、音符に見立てたシールが貼られた紙をwebカメラの前に置くことでTouchDesignerにインポートする仕組みになっています。
このモードの肝は譜を読み取って音を鳴らす機構になっていて、ここが開発していて難航している部分でした。
Musicモードは3種類の楽器の音が入っていて、赤、青、緑の各色に紐付いて鳴るようになっています。
そしてシールの位置によって異なる音源が鳴るようになっています。
そこでシールの位置と色を取得する必要がありますが、今回は"TOP to CHOP"を使用しています。
"Chorma key TOP"で取得したいシールの色以外の抜き、"Tranceform TOP"と"TOP to CHOP"を利用してシールを検出する仕組みを作成しました。
あとはその位置によって鳴る様に"Logic CHOP"を使用して特定の位置に来た時のみ信号が出るようにすることで音がなるようになっています。
音をオーディオリアクティブで表現する
このモードでは鳴らした音を視覚的に表現するために、鳴った音によってリアルタイムにパーティクルが変化する映像が表示されています。
モード選択時だけ音を切る
webカメラを使って譜を読み取る関係上、カメラに鑑賞者の影が映るなど若干の変化も検知して音がなってしまう欠点がありました。
本モードだけ音が鳴るため、この欠点の影響でバックグランドで動き続けていると何もしていなくても、他のモードを選択していても突然音がなってしまうという不具合が起きていました。
モードが選択されている時だけ機能する様にすれば良いのですが、
webカメラに関わる"Video Device in"
パーティクルを生成している"Particle GPU"
オーディオを再生する"Audio file in"
といった様々なノードを一斉にOn,Offする必要がありかなり大変でした。
そこで今回はモードが選択されているかどうかの状態をOn,Offの判断に用いています。
"Audio File in CHOP"と"Audio File Out CHOP"の間に"Math CHOP"をはさみ、そこのMultiply（掛け算）の値を調整しています。
モードが選択されていない時は0をかけて音量が0になるようにし、選択された時は1をかけて通常通り音が鳴るようにしました。
これによって他のモードが選択されている時は音量が0になるので音がならず、Musicモードが選択された時だけOnになって音がなるようになっています。
今回はここまで
長くなってしまったので今回はここまでです。
「Self Portrait」「Music」の各モードは自分で操作したり「譜を作る」というコンテンツを操作している感覚をより体験してもらうことを大切にしています。
こういった鑑賞者の操作が作品の出力に影響を与える「インタラクティブ性」はメディアアート最大の特徴だと思っています。
ここまで3種あるモードをそれぞれ紹介してきました。
次回はモードを切り替えるために制作したコントロールパネルについてなど、各種モード以外の細かい部分について解説していく予定です。
それではまた！