Real-time CG Study Vol.5: NOTCH - with RealSense T265

RealSenseT265 を Notch に接続してモデリングデータを移動したり傾けたりするサンプルを作成しました。

RealSenseと言えば深度カメラが有名ですが、T265は二つの魚眼レンズセンサを持ったトラッキングカメラです。このセンサーで何ができるのかと言うと、魚眼に映った映像から空間上にある自己の位置を推定して、センサーが向いている方向と位置をリアルタイムに知ることができます。この高機能なセンサーが小型化され、手を出しやすい値段に落ち着いたのでさっそくNotchと掛け合わせてみました。（※T265に深度カメラはついておりません）

センサーとNotchを繋ぐために、openFrameWorks（以下oF）で作ったアプリを使いました。oFで取得したデータを成型した後にOSCで送信、それをNotchで受信して3Dオブジェクトの姿勢制御に使われています。

姿勢制御を行う時にクォータニオンを使う事が多いですが、Notchではクォータニオンを操作する事がなかなか難しかったです。Notch側で行列をうまく扱えるパッチがあると改善すると思います。

またセンサー側（T265）の力不足な点ですが、センサー自体を振る動作に弱いようでした。またセンサーと被写体が近すぎてもトラッキングが狂いやすいので、利用するシーンを選ぶ必要があります。

（Writing：Programmer / Seiya Takasawa）