世界初？！脳波を同時取得 演奏家と聴衆の脳波はシンクロするのか？ 脳波を通じてAIとクラシック音楽について考える-
※過去記事のアップです（2018年4月15日）
４月のとある週末、社員と関係者向けに一風変わったイベントを開催しました。これは2017年7月に行われた「人工知能×音楽演奏」を切り口に開催されたイベントの続編として、都内に新しくオープンしたアクセンチュア・イノベーション・ハブ・東京を会場に行われました。（前回のイベントはこちら）
昨年の内容と大きく違うのは、おそらく世界初の試みと思われる演奏家と観客双方の脳波を３人同時に取得してコミュニケーションの状況を可視化したことです。
――「人工知能と音楽演奏」～人工知能の演奏は、どこまで演奏家に迫れるか～ 第2章 脳波のシンクロを目撃する
昨年もこの試みに賛同していただいた世界的な音楽家である大山平一郎氏から、脳波についての検証アイディアが寄せられ、何の説明もなく演奏を聴いた場合と曲の説明を行った後で演奏を聴いた場合の違いも確かめることになった。
●演奏曲
１．ハイドン作曲《弦楽四重奏曲第77番ハ長調 皇帝》より第２楽章
２．ショスタコーヴィチ作曲《弦楽四重奏曲第8番ハ短調 作品110》より第4・第5楽章（解説なし）
３．ショスタコーヴィチ作曲《弦楽四重奏曲第8番ハ短調 作品110》より第4・第5楽章（解説あり）
４．ウェーベルン作曲弦楽四重奏のための5つの断章 作品5》より第２・第３楽章
５．ウェーベルン作曲《弦楽四重奏のための緩徐楽章》
出演した演奏家
左から：大山平一郎（ヴィオラ）、枝並千花（ヴァイオリン）、大塚百合菜（ヴァイオリン）、金子鈴太郎（チェロ）
企画協力 一般社団法人 Music Dialogue
●登壇者 保科学世（アクセンチュア株式会社 デジタル コンサルティング本部 マネジング・ディレクター／理学博士）
●コーディネーター 佐藤守（アクセンチュア株式会社 デジタルコンサルティング本部 シニア・マネジャー）
●脳波測定技術提供 SOOTH株式会社（株式会社AOI Pro.体験設計部のメンバー）
音楽は究極の非言語コミュニケーション
人とコミュニケーションをとる人工知能の開発が進む中で、自然言語、表情、ジェスチャーなどを使ったものはかなり研究が進んでいますが、音楽も非言語コミュニケーションの中で重要な位置を担っているということは言うまでもないでしょう。
「特にクラシック音楽は、数百年前の作曲家たちがその当時の状況、自分の想い、話したいことを伝えようとして曲を生み出し、その後、歴代の演奏家たちが自分なりの解釈を積み重ねて現在に至っていて、ある意味、究極のコミュニケーションではないでしょうか」と保科は語ります。
そんな文脈に沿って、演奏家同士のコミュニケーション、また演奏家と聴衆のコミュニケーションに着目し、その指標としてそれぞれの脳波を同時に視覚化してみる。「脳波という形でコミュニケーションをデータ化することで、人との非言語コミュニケーションを人工知能に組み込む手段を検討する機会になれば」と今回のイベントの意義が説明されました。
世界初？！演奏家と聴衆、複数人の脳波を同時取得
演奏している３人の演奏家の脳波を取得し、「リラックスした集中状態を表すα波」「緊張状態を表すβ波」を中心に「Δ（デルタ）」「Θ（シータ）」「γ（ガンマ）」を加えた５波の状態をレーダーチャートで視覚化。曲目によって演奏家と聴衆の脳波を同時に取得したり、聴衆のうちクラシック音楽への知見の深い人と、ほとんど知見の無い人を選んで反応を比べる試みも行われました。
演奏終了後のトークセッションでは、演奏を振り返り、脳波を測定されてどうでしたか？との問いに、「自分の考えが周りに知られているのでは、という恐怖感、プレッシャーがあった・・・」と大塚さん。
また、金子さんは「弾いている時は集中していましたが、出番のない時にふと脳波を見ると、波が小さくなっていました。いい密度で練習できているかどうかが分かれば、練習の効率が上がると思いました」と、脳波利用についての新たなアイディアも。
脳波を解説した保科は、演奏家3人の脳波を同時に取得した１曲目は解説者泣かせだった、と言います。
「リハーサルでは大山さんの脳波に巨匠感、つまり指揮者的な役割の部分で集中し、ご自身のパートでは瞑想状態になっていましたが、リハーサルと本番が全く違い…全員の脳波が小さめに出てしまい、分析に苦労しました」
●曲の解説有り、無しは、聴衆の脳波にどう影響したのか？
脳波の同時測定に加えて、もう1つの実験的な試みが行われました。それは、ショスタコーヴィチの曲目について、その曲の背景を知る前と、知った後では聴衆の脳波に変化はあるか検証するというものです。
1960年に作曲されたこの曲は、ソビエト軍によるナチスからのドレスデン解放場面の音楽を書くため、ショスタコーヴィチはドレスデンに向かいました。そこで戦争の惨禍を目の当たりにし、表向きには「ファシズムと戦争の犠牲者」に献呈するようにみせつつ、圧政により、精神的荒廃に追い込まれた自身への献呈として、３日間でこの曲を作曲したそうです。15曲あるショスタコーヴィチの弦楽四重奏曲の中で、最も重要な作品の一つと言われています。
この曲では聴衆の中から、クラシックコンサートの運営に携わりクラシック音楽に慣れ親しんでいる鈴木さんを「クラシック上級者」、ほとんどクラシック音楽は聴かないという島田さんを「クラッシック初級者」として脳波を測定しました。
「この作品には深い経緯があるので解説有り無しでの差が出るはずだとドキドキしながら様子を見てましたが、やはり明確な違いが反応に出た」と興奮した様子で保科は語り、特に島田さんの脳波は顕著で、解説後は集中力と感受性を発揮していた、とのこと。
島田さんは、「自らの死を意識したショスタコーヴィチが、自分へのレクイエム（死者のミサ曲）として、作曲したというストーリーが印象的だったので、自身の感情に影響したのかもしれません」と話すと、「クラシックの演奏で解説が大事だということが、ある意味『見て』取れた」と保科がコメントしました。
一方で大山さんは、「解説をしたのは余計なことをしてしまったかな」と切り出し、「作曲家からすれば解説がなくとも、自分の気持ちが素直に表現され、受け取ってもらえるのが本望かと。多くの作曲家はその曲を書いた理由を、曲の完成後には隠滅してしまうことが多いのですが、それは音楽は心と心で交し合える言葉、という音楽家の哲学があるからです。逆に言えば、解説無しでそこまでの反応を誘い出せなかった奏者に責任があることは否めないですね。(苦笑) 」
また、佐藤は「音楽に限らず、アート作品も、作品の背景を知らずに鑑賞する場合と、時代や作者の境遇などを知ってからでは、感じ方が違うということは確かにありますね」と、背景が人間の思考や理解に影響する点について、音楽に限らないと意見を述べた。
演奏家と、聴衆の脳波はシンクロは起きたのか
●脳波から見えるパーソナリティ
ウェーベルンでは、クラシック初心者の聴衆代表を、島田さんから山口さんに変更して脳波を測定しました。
ウェーベルンの1曲目“弦楽四重奏のための5つの断章”の際に測定した脳波から、山口さんが『考えるより感じる人』ということが分かる」と保科は言います。
それに対し山口さんからは、「普段は左脳人間なのですが、土日に茶道と太極拳を20年以上やっており、無念無想で雑念を断つべくお稽古を続けています。それが脳波にも影響があったのかもしれません」と測定されたご自身の脳波についての見解がありました。
また保科は、「無調の曲なので、不安や疑問が浮かぶはずだと考えましたが、山口さんからは『初めての出会い』という脳波が確認でき、一方でクラシック上級者の鈴木さんからは、常時ゆったりと受け止めている様子が見られた」と解説。
さらに、「鈴木さんからは曲を先取りしている脳波が出ていた」と述べると、
鈴木さんは、「この曲も含めて以前から、大山先生の演奏を聴いていたので、曲の流れや背景を理解している分、リラックスして曲に浸ることができた」とクラシック上級者たる回答がなされました。
●脳波のシンクロは起きたのか？
ウェーベルン2曲目の”弦楽四重奏のための緩徐楽章”で測定された脳波について「クラシック初心者の山口さんの反応はリラックス。クラシック上級者の鈴木さんは、集中しつつも最後は感情的に盛り上げていた。枝並さんは、特に終盤にかけて気持ちよく弾いているような脳波だった」（保科）と評価。
「音量をセーブしながら深い音を出したいので、出だしの感情の乗せ方がとても難しかったです」（枝並さん）
保科は、「枝並さんは、特に後半は瞑想状態に入っていました。実は、全曲を通してこの曲が一番、全員の脳波の同期が取れていました」と演奏家、聴衆の脳波のシンクロが見えた様子が語られた。
その解説に、大山さんは「そうであろうと予測して選曲しました」と長年の音楽家としての経験から、そうなるのではいかと思い今回のウェーベルンの選曲をしたことが述べられ、見事な予想的中を、驚いた様子で聴衆も受け止めていました。
人工知能が普及する現代。新しい演奏のあり方とは？
●機械による音楽演奏について
脳波の解説に続いて、人工知能による音楽演奏について演奏家という視点から、どのように捉えているのか、議論が及びました。
佐藤からトークセッションの冒頭に、「AIは人間の仕事を奪うのか、人間と協調するのかということをよく耳にするが、鑑賞者の反応で作曲したり、アドリブを覚えさせたり、昨今、新しい演奏のあり方が話題になっている」とAIをめぐる状況が紹介されました。
演奏家からは「絶対に失敗しないことや、感情に連動した弾き方をインプットして再現することはできると思う」、「人間にはかなわないと思いつつ、人間に近づけばそれを見てみたい」、「今まで聴いたことの無い人が生演奏を聴きたくなるような効果があるなら、それには期待したい」など、今後のAIの発展を期待する声が寄せられました。
一方で「突然の思いつきや、ホールの響き、天気、湿度、何を食べたかということに影響されて、意識的あるいは無意識に人は演奏を変えるが、AIでは不可能」、「人間以上の感情は出て欲しくはない」など率直な心境も語られました。
枝並さんは「演奏家として、音楽が心の奥に突き刺さるような演奏、理屈なく涙が出る、漠然としていて言葉が見つからない部分に刺さるような演奏を目指しています。それは『人間だからこそ』の部分なのではないでしょうか」と補足しました。
大山さんは「いまAIが目指しているのは、演奏家がどう弾くかを分析し、入力してそれに反応できる形だと思う」と述べます。「しかし、私がこの曲を誰と一緒に弾きたいかという理由は、相手の音楽性の反応への期待です。AIがそこまでの『情』を、自分自身で解釈し、表現して、他演奏者と関わっていけるのでしょうか」と指摘。
“情報”に“情”が掛け合わされて作られるユガミ、ヒズミも含めて演奏であると強調しました。
保科は、「ミステイクも含めて不確実な演奏をすることにも魅力があると思う。芸術には、他の領域にはない不確実性が重要で、感情的なユラギをAIが学ばなければ人間には近づかない」とコメント。「もしユラギを再現できたとしても、聴き手が『これはAIが演奏している』と思った瞬間、受け取り方が違ってくると思う」と踏み込んだ意見が交わされました。
人が何かを人に伝える、AIが何かを人に伝える、その２つはそもそも意味合いが違います。だからこそ、人間が演奏する意味は確実にあるのではないか。
“何をAIがやるべきで、何を人がやるべきか“について、今後も大いに議論の余地がありそうです。
●人だからこそ。「覚悟」で演奏が変わる
AIの進化において、人間に近づけようとすればするほど、なくてはならないテーマである“感情”。トークセッションの締めくくりとして、過去を振り返り、気持ちの変化から演奏が変わったという体験について、伺ってみました。
枝並さんの人生の転機ともいうべき出来事は、手を傷めてヴァイオリンが弾けない時期を経験したこと。「『この先弾けなくなる』と思うと、心から弾きたいという思いに気づいた。物心つく前から楽器を習っていましたが、その時初めて、ヴァイオリンが自分に必要なものだと意識しました」その経験以降、演奏や伝わり方が変わったと、観客から言われるようになったそう。
そして大山さんは、「私の歳だと『あと何回この曲を演奏できるか』と純粋に思う。ここ2年ぐらいその気持ちが強い。残された時間、悔いのない演奏をしたいという切実な気持ちがある」
それぞれの人生の地点で、“覚悟”を決めたことが、現在までの演奏活動に大きな影響を与えているようです。
果たして、人工知能も“覚悟”や“死”というような感情を得て、より人間に肉薄した音楽演奏を実現する日が来るのでしょうか？
来るシンギュラリティを目撃するであろう驚異的な時代に生まれた私たち。今後も音楽業界におけるAIとヒトとの関係性から目が離せません。
記事を書いた人
