赤外線カメラ×反射材を使ったインタラクティブコンテンツ事例 #1
こんにちは。「Experience×Technology（体験×技術）」の松田です。
今回は、赤外線カメラと反射材を使ったインタラクティブコンテンツと、その仕組みをご紹介します。
「赤外線カメラとは」「反射材とは」のご説明の前に、まずは事例を見てみましょう。
クッションから光が飛び出す『mimi Action』
『2021アジアデジタルアート大賞展FUKUOKA』にて展示
こちらは体験型展示クリエイターPonboksさんが制作されたデジタルアート作品です。床に置かれたクッションを手で押すと、効果音とともにクッションから光のエフェクトが飛び出します。クッションの位置を動かしてもエフェクトがぴったり追従するところが素敵ですね。
それでは、どのような仕組みで動いているのか考えてみましょう。
クッションから飛び出す光のエフェクトは、PCのプログラムで作った映像を天井に設置されたプロジェクタから投影しているようですね。
あとはエフェクトの中心をクッションの位置に合わせれば良い……のですが、クッションは床に固定されておらず、体験者が自由に動かせてしまいます。
さて、クッションの位置はどのように検知しているのでしょう？
そして、なぜ「クッションが手で押された」ことがわかるのでしょう？
クッションの中にセンサーやボタンが埋め込まれているのでしょうか？
実は、クッションの中ではなく、クッション上面の『＊』マークに仕掛けがあります。
クッション上面の『＊』マークは、『再帰性反射テープ（以下、反射材）』という素材で描かれています。反射材は「受けた光を光源に向けて跳ね返す」性質を持っており、赤外線カメラで撮影すると反射材だけが真っ白に映ります。
プロジェクタのそばに設置した赤外線カメラの映像をPCに取り込み、真っ白に映っている場所をプログラムで調べることで、そこにクッションが置かれていることがわかります。赤外線カメラの映像を常に監視していれば、クッションが動き回っても、エフェクトをぴったり投影できますね。
また、クッションが手で押されたことは、『＊』マークが手で覆い隠された＝赤外線カメラの映像から白い部分が消えたことで検知できます。反射材は、クッションの位置を知るだけでなく、ボタンのように使うこともできるんですね。
クッション自体に電子機器は埋め込まれていないので、多少乱暴に扱われても大丈夫です。もしクッションが破損してしまっても、別のクッションに『＊』マークを貼るだけで復旧できますしね。
このように、赤外線カメラと反射材を組み合わせることで、様々な物体の『位置』や『動き』に合わせたプロジェクションとインタラクションが実現できます。次回は別の応用事例を見ていきましょう。
（続きます！）
X（旧Twitter）
このnoteとも連携して発信していくので、興味のある方はフォローよろしくお願いいたします！
Experience×Technology(体験×技術)
面白い海外事例の紹介、今までの実績を振り返りながらの裏話、個性あふれるスタッフたちによるチャレンジ企画やインタビューなど、みなさんが楽しみながらExperience×Technologyの世界に触れていただけるコンテンツを発信していきます。
執筆者：松田
株式会社フラッグ コミュニケーションデザイン部のディレクター。主にデジタルコンテンツの企画と進行管理を担当。元組み込み系プログラマー。
好きな食べ物はグミ。