curiosity lab. #1 Draw in the game

概要

プロジェクターで映し出されたゲーム映像の中の物体と、リアルな「もの」とをシームレスに干渉させて楽しめるデモ作品です。上記の映像中では、上から降ってくる物体に対して、絵の具で地面や壁を描いたり、アクリルの物体を置くことによって物体を遮ったり、転がしたりといったことができます。

「描く」という行為が、ゲームの世界に反映されるのが面白いなと思って作ったデモです。

技術的説明

技術的には、スクリーン（トレーシングペーパーを引いているだけですが）の下にプロジェクターとKinectがあり、Kinectの赤外線カメラで、絵の具やアクリル物体の位置を捉えています。プロジェクターの映像光がスクリーン上で散乱するのに対し、Kinectが発する赤外線は透過しやすく、特定の物体でのみ反射するため、その反射光をカメラで捉えれば物体の位置を計算できます。今回使用した絵の具は反射性の強い特殊なものを使っています。また、プロジェクターとKinectは予めマーカーなどを使って、変換行列を求めています。