【指定企画】Lenovo - スマートグラス #私の新しい働き方 最終報告書
【実験申請時の研究計画書内容（背景・目的）】
【臨場感・没入感のあるライブ】（研究背景）
〈臨場感・没入感の重要性〉
ライブは、観客にとって日常生活で蓄積したストレスの発散、アーティストにとって芸術表現の開放や自己の売出し、など、参加した人間の心身にとって重要な意味を持つ。主観だが、普段の世界から切り離されたような空間と演出に出会って心底没入することができたときには「今日まで生きててよかった…！」と思うほどである。
近年、音楽、美術ともにライブでは様々なパフォーマンスが取り入れられている。例えば音楽では、バンドボーカルが観客の海にダイブする、観客席を練り歩くというのは大変定番であり、大きなバルーンに入ったり空中遊泳するといった変化球もある。美術サイドでは、観客を前にして音楽を流し大きなキャンバスに即興でアートを描く、または、テーマに沿ったアート作品をギャラリーに飾った空間で作者本人が楽器演奏をする、など様々な形態がとられている。そういったパフォーマンスが、観客の心にアーティストとの間の「強い繋がり」を感じさせ、それが「ライブの臨場感」を生み出していると考えられる。
私は、このライブの「臨場感の強度」が観客とパフォーマーの両者の「満足度に直結する」と考えている。
〈アーティスト視点になれたら、隣に立てたら、どうなるだろう？〉
先述の満足度に関して端的に言うと、「憧れのアーティストが自分の目の前に現れたらめちゃくちゃうれしい」ということである。アイドルファンが握手した手を洗いたくないと思うのと同じである。では、触覚や聴覚（手や耳）だけでなく、視覚でアーティストと触れ合えらどうなるだろう？視覚は人間が感受する情報の約80%といわれるほど強力な情報源なので、極めて単純な思考回路で考えて、普通にライブに参加するより４倍の情報量を与えることになる。4倍は楽しいはずなのである。つまり、観客としての自分が憧れのアーティストだったり、同じステージ上での視点を獲得できれば、ライブでの満足感は非常に大きなものになると考えられる。
〈アーティスト自身への恩恵〉
今まで観客にとって良いことを考えてきたが、アーティストには良いことがあるのだろうか？よくアーティストはライブ中にメンバーとアイコンタクトをする。
「この次のソロで君が前に出るんだよね？」
「もうそろそろテーマに戻るのかな？」
など様々である。
加えて、練習中やライブ中にメンバー同士の手元や景色が見えていた方が良い場合もある。このように、アーティストにとってはメンバーとの連携手段として、お互いの視点を得ることは意味のあることと考えられる。
（補足）
本題ではないが、演奏者の手元が見えるというのは、教育としてもある一定の効果があると考えられる。
ギターを例にとる。レッスンの際には先生と対面状態でやり取りすることが多い。もちろん大きな問題があるというわけではないが（慣れれば良い）、先生の指板上の運指を見た直後に自分の手元を見ながら真似をするときには少し頭が混乱しがちになる。初学者ならなおさらである。出来れば真横に座っていただきたいのである。しかし、複数人に教えたり、狭い防音室だったりすると不可能である。そこで、先生の視点をリアルタイムで見ることができればよりスムーズにレッスンを受けることができると考えられる。
さらに、オンライン授業（手元が見ずらい＆お互いの表情がつかみ難い）の際にはより大きな効果が期待できる。
【アーティストと同じ景色を見よう！】（研究目的）
一つのライブをより印象深く意義深いものにするために、「アーティスト視点の獲得」は重要である。本研究では、ステージ上とアーティストの視点を獲得し、それをいつでもどこでも見れるようにすることを目的とする。
まず達成したいポイントを以下に示す。
A: ステージ上視点
１．ステージ上の景色を360°見渡せること。
２．ある程度、アーティスト近づくことができる。
３．近づいた分だけ音量が変化する。
B: アーティスト視点
１．アーティストの実際の目に近い場所で撮影すること。
２．ブレや不意の激しい動きを極力軽減できること。
少なくとも、AとBのそれぞれ１．の要求は達成したいと考えている。
【この半年間にできたこと（実験内容）】
上記のA, Bのうち、Aに関して
360°カメラを用いたライブ中のステージ側からの映像は取得できましたが、映像中のステージ上を自由に移動できないことがわかりました（映像に詳しい方にとっては当たり前のことかも汗）。
Bについて
10/21に能古島ChillFesにて、アクションカメラGoProを頭部に設置して、ギター演奏中の指板の映像を映し、Wi-Fiを介してMotorola製スマホのGoProアプリでプレビュー表示にし、その画面をスマホからUSB TypeCで繋げたT1でリアルタイム映像を見ながら演奏する実験をしました。実験のお手伝いとして、同じLenovo T1グラス企画で活動しているZero_Lenovoさんと一緒に実験に挑みました！ありがとう！Zeroさん！
実験の題名としては、"絶対音感ないアマチュアギタリスト同士でも、相手の視点を覗ければ即座に曲のキーを合わせて演奏できるのか？"
（前提: 一人称視点カメラを装着した人の映像をリアルタイムでT1で見ながら演奏する。）というものでした（下図参照）。
実験のモチベーションとしては、以下の通りです。
モチベーション１
「演奏者の見ている景色を見れるだけでも観客は楽しめるのではないか？」モチベーション２
「バンド演奏中のメンバー同士の手元が見れた方が、Jazzのセッション中などの助けになるのではないか？」
→アドリブ性の高いジャンルだと、譜面通りのコードやスケールを弾かなかったりする。曲のどこを弾いているかを把握する手助けにもなる。
モチベーション３
「先生やプロ演奏者の手元を演奏者視点で見ることで運指や指の形が即座に把握できれば、初心者でもすぐに弾けるようになるのではないか？」
→教室などでは生徒と先生が対面状態で教えるので、初心者は特に先生の指板を見てから頭で自分の指板上に置き換える作業が入り、混乱しやすい。
具体的な実験内容は以下の通りです。
【実験曲】
・Thousand dreams #1090 （松本孝弘）
・丸の内サディスティック（椎名林檎）
・Isn't she lovely?（Stevie Wonder）
【実験内容】
1．一人がコード(バッキング)を弾く。一方のギタリストは、T1なしでその曲のメロディをギターで弾く。この時、選曲した人は相方に予告なくキーを変更する。(絶対音感ないのですぐにはできないはず。)
２．今度は同じ事を、バッキング側ギタリストが一人称視点カメラを、メロディ側ギタリストがT1をかけてやってみる。(相手の手元を観れるからポジションわかってすぐ対応できる！かも？？これが実験で明らかにしたいことです。)
〈イメージ〉
曲スタート！→原キー（1コーラス）→キー転調（1コーラス）→更にキー転調（1コーラス）→曲終了！
【実験結果・考察】
実際にその場で演奏をしながら実験をしました（下図参照）！恥
コード奏者の視点を映像化できました（下図参照）。
やはりT1を付けた方が、転調についていくことができましたが、課題も多く感じました。
１．ラグが気になる。
２．頭に設置するので、コード奏者が指板以外を見ているとコードの判断ができない。
３．慣れが必要。
上記の１．はwifi環境を改善（市販の送受信機を使ったローカルネットワークを作る。）することで解決できないかを検討する予定です。２．に関しては、頭部よりも動きが抑えられそうな胸部あたりからカメラを固定できないか検討する。３．はT1グラスの性質上解決は難しいと感じましたが、明るい環境であれば軽減できそうでした。
【結論】
360°ステージ視野の映像化と、ギタリストの一人称視点を映像化することに成功したのではないかと思います。
ステージ上では、映像の拡大縮小をいかにT1と連動（ここは要再検討）させること、一人称視点は頭部の動きを避ける方策を検討すべきと考えていましたが、自身の計画管理ミスでそこまで手が回りませんでした（恥）。。。
【おわりに】
今回のアタラボ企画では、自分が疎かったガジェット類、特に最近・または未発売のガジェットを中心にした内容で、個人的にチャレンジングな内容でした！結果、あんまり進められなかったような気が。。。しかし、実験の遂行はもちろんのこと、いろいろなルーツやマインドを持った魅力的な方々との新しいつながりを得られたのが貴重な成果だったと感じます！この企画への参加のきっかけとなった濵一蝶_Lenovoさん、Karihana21_Lenovoさんへ尊敬、感謝をするとともに、一緒に実験に参加してくれたZero_Lenovoさんへ感謝申し上げます！カメラや３D空間作成に関する相談事を聞いてくださった、のり_Lenovoさん、uzakiyoさんへ感謝申し上げます！オーガナイズをしてくださっていた、おおくにさんへ感謝申し上げます！