【指定企画】Lenovo - スマートグラス 研究計画書 #私の新しい働き方 中間報告書

【申請時の研究目的】
本研究では、ステージ上とアーティストの視点を獲得し、それをいつでもどこでも見れるようにすることを目的とする。
A: ステージ上視点
１．ステージ上の景色を360°見渡せること。
２．ある程度、アーティスト近づくことができる。
３．近づいた分だけ音量が変化する。
B: アーティスト視点
１．アーティストの実際の目に近い場所で撮影すること。
２．ブレや不意の激しい動きを極力軽減できること。

【進捗状況】
Aについて
上記のうち、360°カメラを用いたライブ中のステージ側からの映像は取得できたが、映像中のステージ上を自由に移動できないことがわかってきました（映像に詳しい方にとっては当たり前のことかも汗）。ステージ上の位置データがないので自由に歩くことは難しそうですが、カメラの拡大機能をうまく使えないかと考えています。また、フォーカスがずれてしまいますが、Unityを使用した３Dステージ空間を構築して、その中をアバターが動けるように、また、ステージ上の位置によって音の強弱がつくような仕掛けを作ろうと考えています。
Bについて
10/21に能古島ChillFesにて、アクションカメラGoProを頭部に設置して、ギター演奏中の指板の映像を映し、T1でその映像を見ながら演奏する実験を実施しました。
今回はそのことについてお話しします。
お題目は、
"絶対音感ないアマチュアギタリスト同士でも、相手の視点を覗ければ即座に曲のキーを合わせて演奏できるのか？"
前提: 一人称視点カメラを装着した人の映像をリアルタイムでT1で見ながら演奏する。
実施者（2名）：@ほりしゃん_Lenovo、@ZERO_Lenovo
【実験曲】
・Thousand dreams #1090 （松本孝弘）
・丸の内サディスティック（椎名林檎）
・Isn't she lovely?（Stevie Wonder）
【実験内容】
1．一人がコード(バッキング)を弾く。一方のギタリストは、T1なしでその曲のメロディをギターで弾く。この時、選曲した人は相方に予告なくキーを変更する。(絶対音感ないのですぐにはできないはず。)
２．今度は同じ事を、バッキング側ギタリストが一人称視点カメラを、メロディ側ギタリストがT1をかけてやってみる。(相手の手元を観れるからポジションわかってすぐ対応できる！かも？？これが実験で明らかにしたいことです。)
〈イメージ〉
曲スタート！→原キー（1コーラス）→キー転調（1コーラス）→更にキー転調（1コーラス）→曲終了！

【能古島実験結果】
コード奏者の視点を映像化できました。

やはりT1を付けた方が、転調についていくことができましたが、課題も多く感じました。
１．ラグが気になる。
２．頭に設置するので、コード奏者が指板以外を見ているとコードの判断ができない。
３．慣れが必要。
上記の１．はwifi環境を改善（市販の送受信機を使ったローカルネットワークを作る。）することで解決できないかを検討する予定です。２．に関しては、頭部よりも動きが抑えられそうな胸部あたりからカメラを固定できないか検討する。３．はT1グラスの性質上解決は難しいと感じましたが、明るい環境であれば軽減できそうでした。

【結論】
360°ステージ視野の映像化と、ギタリストの一人称視点を映像化することに成功したのではないかと思います。ステージ上では、映像の拡大縮小をいかにT1と連動（ここは要再検討）させること、一人称視点は頭部の動きを避ける方策を検討すべきと考えています。

【今後の予定】
10/21 能古島実験＋10月中の前実験
うまくカメラとT1グラスが連動するか。どのくらい遅延が気持ち悪いか。などの問題点抽出。

11月中旬ごろ　
遅延の解決方法検討。（Wifiローカルネットワーク構築など？）
Unityを用いた３D音楽ステージ空間の構築。

12月中旬ごろ
再度、スタジオなどでセッション実験。課題の洗い出し。
Unityを用いた3D空間に音源を紐付け（？）る。ステージ内を移動したときの音の強弱付け検討。

以上になります。