世界的ダンサーと人工知能 - AIはダンサーの創造性を刺激できるか

---

今回は人工知能(AI)によって、ダンサーの創造性を拡張しようとしたプロジェクトのお話。

"Israel & イスラエル - Israel Galvan + YCAM"

2017年末から筆者は、ある著名なフラメンコダンサーとのプロジェクトに関わっています。フラメンコ？と不思議に思うかもしれませんが、AIを用いて、フラメンコというダンス表現をどう拡張できるかという試みです。山口県にある国内屈指のメディアアートを扱う美術館、研究機関であるYCAM(Yamaguchi Center for Arts and Media)が主体となったプロジェクトになります。 (この記事はあくまで筆者個人の視点、それも機械学習についてのプロジェクトの振り返りであることにご注意ください。)

フラメンコダンサー、イスラエル・ガルバン(Israel Galván)氏はフラメンコ界の革命児と呼ばれる人物です。僕たちがイメージする伝統的なフラメンコとは大きく異なる、モダンダンスやバレーの世界にも通じる世界観を持つダンサー、コレオグラファー(振付師)です。美女がカスタネットを叩きながらバラをくわえて踊ると言ったステレオタイプのフラメンコそんなステレオタイプを持っているのは僕だけではないですよね…)からはほど遠い、ミニマルかつ身体性の高いダンスを志向するダンサーです。イスラエルのWikipediaの記事に、controversial(議論を呼ぶ)という単語が散見されることからもよくわかると思います。

当初は「フラメンコ？」「何故自分が？」という思いも強かったのですが、最初に本人にお会いした時に、「フラメンコは音楽だ」と言われ、見方が変わりました。妖艶な上半身の動きのイメージを強く持っていたのですが、イスラエルに言わせると、フラメンコの肝はなんといってもサパテアード (タップダンスのような足のリズム)なのだそうです。サパテアードとパルマ(手拍子)がリズムだとしたら、手の動きは視覚的なメロディー。それらの踊りとギターと歌を統合した五感を駆使する総合的な音楽として、感情を伝えるのがフラメンコだと。技術的には音楽生成プロジェクトという観点で捉えればよいのだということがわかってからは、自分の作業の方向性がクリアになりました。

彼は他のフラメンコダンサーと一緒に踊ることが少ないことでも知られています。その理由というのも他のダンサーと踊ると「どうしても既存のフラメンコの枠の中に収まってしまいがち」だからだというのです。代わりに、巨大なロッキングチェアを闘牛に見立てて踊ったり(上の写真)、あえて一本の足を切って不安定にした椅子を相手に見立てて踊る作品もあります。2006年のLa Casaでは家の中の棚の動きを踊りに組み込んでいます(下の動画)。ジェンダーとそれに紐づく踊り方の既成概念を崩すためなのか、女装して踊ることもしばしばあります。

これらの物理的なオブジェクトは自分のダンスに何かしら反応してくれるものでありつつも、そこには当然フラメンコのリズムはこうあるべきという固定概念はありません。かと言ってイスラエルのリズムがそのままエコーのように返ってくるものでもありません。イスラエルのダンスやそのリズムに対する物理的なリアクションが、ある程度の偶発性をともなって返ってきます。
そこには、予測不可能性と予測可能性の微妙なバランス、そしてそのリズムをイスラエルが再解釈する余地、曖昧性が残されているという点が重要なのでしょう。

そんな彼にYCAMがアプローチを開始したのが、2017年。当初からAIを使うという構想ではなかったのですが、議論を進める中で「自分の分身と踊りたい」「ドンキホーテにとってのサンチョ・パンサのような、相棒が欲しい」というイスラエルの気持ちに答えるかたちで、AIの利用が提案されたそうです。

ちょうどその時期、同じYCAMでAI DJ プロジェクトの制作を進めていたこともあり、筆者のところに参加しないかというお誘いが来ました。「自分じゃない自分とDJをしたい」という思いからスタートしたAI DJと重なる部分が多かったというのはいうまでもありません。

AI DJ Project / YCAM (2017) 
Photo by Yasuhiro Tani 
Courtesy of Yamaguchi Center for Arts and Media [YCAM] 

予測不可能性と予測可能性の微妙なバランス、そしてAIが生成するリズムを再解釈する余地、曖昧性が残されていることが重要

とはいえ、実際にプロジェクトが立ち上がると、様々な問題に直面します。一般的な音楽とは違い、今回の場合は学習に使えるようなデータが全くありません。そこで、リズムのパターンをデータとして記録するために、専用のセンサーを埋め込んだフラメンコシューズを開発するところからはじめることになります。YCAM内の研究機関、YCAM InterLabのメンバーが、ピエゾセンサー、ジャイロセンサー、圧力センサーなどを仕込んだシューズを作り、イスラエルのサパテアードのデータを、かかと、つま先、足の腹の3点で収集しました。

本筋から逸れるので詳しくは書きませんが、このデータ収集用のシューズの制作一つをとっても大変な苦労がありました。最初に作ったシューズは、イスラエルの足の力が強すぎて3秒で壊れてしまったほどです(下のグラフ)。本番で使うために、ワイヤレス化する必要がある上に、最速で1秒間に10回以上のステップを踏むイスラエルのサパテアードを記録するために、どのように時間的な解像度(サンプリング周波数)を上げるかも技術的な課題として立ちはだかります。一つ一つ課題をクリアしていった、YCAMスタッフ(特に安藤さん)の努力には頭が下がります。

失敗したデータの例. ステップの圧力が強すぎてセンサーの値が上限に張り付いてしまっている.

学習データ収集時の録音。いかに高速でステップを踏んでいるかよくわかります。

フラメンコでは、コンパスという12拍のリズムが一つの単位となって音楽的な展開が生まれていきます。イスラエルにデータ収集用のシューズを履いてもらった上で、コンパスを繰り返し繰り返し踊ってもらうのにも苦労しました。

こうした苦労を超えて集めたサパテアードのデータを学習データとし、サパテアードを生成するモデルを実装します。ワイアレス化したシューズを用いてイスラエルのステップを入力データとして受け取り、サパテアード生成モデルがイスラエルのサパテアードにつながる次のサパテアードの展開を予測、生成することになります。

生成モデルに関しては、音楽生成で使われる様々なモデルを試しました。RNN/LSTMを用いて、直前の一連のステップから次のステップを推定するモデルを試したりもしましたが、最終的にはVariational Autoencoderというアーキテクチャを用いて、コンパス単位でサパテアードを生成する仕組みを採用します。詳細は省略しますが、Google MagentaチームのMusicVAEの研究に近いアーキテクチャを採用し、あるコンパスを入力としてその次のコンパスを生成する仕組みをとっています。(私の別の記事を参照してください。 Deep Learningを用いた音楽生成手法のまとめ [サーベイ])

Roberts, A., Engel, J., Raffel, C., Hawthorne, C., & Eck, D. (2018).
A Hierarchical Latent Vector Model for Learning Long-Term Structure 
in Music. http://arxiv.org/abs/1803.05428

Tokui, N. (2020). Towards democratizing music production with AI-
Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin. 
http://arxiv.org/abs/2004.01525

コンパスを細かくグリット化し、各グリットの中に左右の足の各箇所の打点があるかどうか(onsets)、またその打点の強さ(velocity)、打点のグリッドからのズレ(timing offsets)などを学習し、生成するモデルです。リズムのデータ化の手法を説明する下の図の、Kick, Snareと言ったドラムキットが、「左足つま先」「左足かかと」と言った足の部位に置き換わったものを想像してください。

本番では、イスラエルの直前のコンパスのステップのデータを上で紹介したシューズで読み取った上で、次に来るコンパスを生成します。生成されたサパテアードは、ソレノイドを用いて木の床を叩く簡易的な機械を制作し、物理的な仕掛けで音に変換します。ソフトウェア内で音に変換しなかったのは、物理的に動くモノをステージ上に置くことで、擬人化することなく、見えないAIの存在を立ち上らせるための判断でした。(ソレノイドの機械は私の古い友人でもあるアーティスト、堀尾寛太さんに制作をお願いしています。）

Photo by Yuki Moriya 
Courtesy of Yamaguchi Center for Arts and Media [YCAM]

公演で使われたソレノイド 
Photo by Yuki Moriya 
Courtesy of Yamaguchi Center for Arts and Media [YCAM] 

作品の制作においては、データを集めて、サパテアード生成モデルの学習を行い、結果を検証するというプロセスを何度も何度も繰り返しましたが、学習したモデルの生成結果をイスラエルに聞かせたときに何度もこう言われました。

「フラメンコっぽすぎる」
「自分の劣化版コピー入らない」

こう言われて頭を抱えてしまいました。

イスラエルのフラメンコのステップを学習しつつ、どのようにフラメンコらしさ、イスラエルから適度に逸脱するのか… 

これがこのプロジェクトを通しての最大の課題となります。ブレリア、シギリージャといった伝統的なフラメンコのリズムとイスラエルがフリースタイルで踊るリズムのデータを学習時に適度に混ぜる、生成モデルの出力を確率分布としてみたてそこからランダムにサンプリングする、グリッドからのズレを極端に強調したり無効化する、そうした手法を生成モデルの学習と並行して試していきます。

イスラエル・ガルバンのフラメンコのステップを学習しつつ、どのようにフラメンコらしさ、イスラエルから適度に逸脱するのか
ランダムなサンプリングに関しては、大きな穴と小さな穴があるいびつなルーレットを考えていただけるといいかもしれません。ルーレットを回して、球を投げ込むと当然大きな穴に落ちる可能性が高くなりますよね。何度も何度も繰り返せば、その穴に球が落ちる確率は穴の大きさに比例するはずです。

生成モデルのアウトプットの一例

リズムの生成モデルはこのいびつなルーレットを作ることに似ています。例えば、コンパスの最初の一拍には打点が来る確率が非常に高いので、非常に大きな穴に対応します。例えば、コンパスの中で合計10回の打点があるとするならば、10個の球を投げいれれば、穴の大きさ、すなわち生成モデルが予測する、そのグリッドに打点がある確率に沿ってコンパスの中で分布するはずです。

ここで大きな穴はより大きく、小さな穴はより小さくしてみるとどうなるでしょうか。意外性の少ない結果となるはずです。逆に大小の差を小さくするように均してあげると、緩やかに予測結果に従いつつも、意外性が高い結果が生まれることになります。完全に大小の差をなくしてしまうと、ランダムな結果が生まれることなります。このランダム性をコントロールするパラメータは、temperatureと呼ばれ、こうした生成モデルを利用する際によく使われます。今回も、この公演中のシーンの展開に合わせて、temperatureの値をコントロールしています。

---

Israel & イスラエル - 映像・照明の表現は比嘉了 神田竜の二人の気鋭の映像作家が手掛けた. 
Photo by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]Israel & イスラエル 

こうして、試行錯誤を繰り返して制作した「Israel & イスラエル」は、2019年の2月2日に初演を迎えます。作品のタイトルは、イスラエル本人(Israel)とAIのイスラエルの「二人」のイスラエルの存在を暗示しています(カタカナにしたのは日本製のAIだからという本人のアイデアからです。）

Photo 
by Yuki Moriya / Courtesy of Yamaguchi Center for Arts and Media [YCAM]

映像撮影：田邊アツシ、田邊るみ、塩見浩介 映像編集：田邊アツシ

初演後、満足そうな顔を浮かべたイスラエルに個人的に呼ばれた私は、次のような声をかけられました。

「ミュージシャンでも、もちろんフラメンコ・ダンサーでもない、そもそも人間らしくもない、何か未知の生物がステージにいるような気がした。とっても刺激されたよ。」

「踊っているうちに、一人でいることを忘れる瞬間があったくらいだ。」

初演直後のイスラエルとAIのシステムと踊ることで、イスラエル本人の創造性を刺激することを目的とした作品だっただけに、この言葉は私やチームの皆にとって最高の褒め言葉でした。もともとランダムな動きをするモノと踊ることで、自分のダンスの枠を崩そうとしてきた彼だけに、今回AIならではの予測可能性と予測不可能性のバランスを感じ取り、それがダンサーとしての彼の本能を刺激したのではないかと想像します。「ミュージシャンでも、もちろんフラメンコ・ダンサーでもない、そもそも人間らしくもない、何か未知の生物がステージにいるような気がした。とっても刺激されたよ。」失敗してもいいから、自分を驚かせて欲しい。「驚き」を重視する姿勢は、AIのモデルと踊る機会を本番までなるべく短くしたがったイスラエルの姿勢からも伺えました(そのせいで制作チームはかなりやきもきしましたが…)。AIがどんなリズムを生成しても、自分はそれに応えられる、という自信に裏打ちされているのはいうまでもありません。失敗してもいいから、自分を驚かせて欲しい。

---

本番から遡ること半年。2018年の夏に、私はYCAM InterLabのスタッフとともに、イスラエルの地元であるセビーリャにとび、彼のスタジオにお邪魔しています。データ収集用のシューズをイスラエルのもとに届け、環境をセットアップすることと、公演の方向性についての議論を進めることが主な目的でした。

滞在中のオフの時間は、フラメンコの文化をより深く理解するために、セビーリャの街を歩いたり、ショーを見に行ったりもしました。タブラオと呼ばれる専用の会場で行われるショーもそれはそれで良かったのですが、何よりも一番感動したのは街中の居酒屋のようなところで自然発生的に歌と踊りの輪がうまれている場面に遭遇したことです。客の輪の真ん中で自慢ののどを披露していたおばあさんが歌い終わった途端、自分の前で立って聞いてた20歳前の女の子が前に出て踊り出しましたのには驚きました。特に前もって打ち合わせすることもなく、あうんの呼吸で続いていく、踊りと歌。フラメンコの文化の中で生まれ育った人たちが共有する、不文律的なルールが存在するからこそ成り立つ世界を目の当たりにしました。
これだけしっかり根付いている伝統的なフラメンコの世界に、全く新しい価値観を持ち込もうとすることがいかに難しいことか。門外漢ながら、そのことを初めて肌で感じた瞬間でした。他のフラメンコダンサーと踊らないといった境地を経て、AIと踊ることを試そうと思ったイスラエルの思考の片鱗を、その時垣間見たような気がしています。

---

このプロジェクトは現在進行形です。2019年2月の初演の後、10月にはパリの日本文化会館でも3日間の公演を行いました（パリ日本文化会館の皆様には多大なるサポートをいただきました。ありがとうございました！) 日進月歩のAI技術の今を反映させるためにも、引き続き開発、生成モデルのアップデートをあわせて行っていきたいと思っています。

日仏英語にスペイン語の四カ国語が飛び交う刺激的な現場でした。ハンドサインはYCAMのある「山口」を表しています。またイスラエルやYCAMの仲間、イスラエルのカンパニーの皆と一緒に世界のどこかで、新しいフラメンコ、ダンスを披露できる日が1日も早く来るのを祈っています。

---

Credit
イスラエル・ガルバン＋YCAM 「Israel & イスラエル」
振付、演出、出演
イスラエル・ガルバン
出演
大脇理智（YCAM）、岡田理絵
R＆D ディレクション
伊藤隆之（YCAM）、大脇理智（YCAM）
テクニカル・ディレクション
大脇理智（YCAM）、中上淳二（YCAM）、パブロ・プホル（イスラエ ル・ガルバン・カンパニー）
プロダクション・マネージメント
クラレンス・ン（YCAM）
機械学習・人工知能システム開発
徳井直生（Qosmo）、細井美裕（Qosmo）
学習データキャプチャーシステム設計開発
安藤充人（YCAM）
ビジュアル・クリエーション
比嘉了、神田竜
デバイス設計開発
堀尾寛太、アルベルト・ボエム、今野恵菜（YCAM）、大脇理智 （YCAM）、安東星郎（YCAM）、パブロ・プホル（イスラエル・ガルバン・カンパニー）
音響
中上淳二（YCAM）、ペドロ・レオン（イスラエル・ガルバン・カンパニー）、安藤充人 （YCAM）
一部楽曲提供
イクエ・モリ
映像
大脇理智（YCAM）、今野恵菜（YCAM）
舞台
安東星郎（YCAM）
照明
高原文江（YCAM）
照明プログラミング、ネットワーク構築
三浦陽平（YCAM）
演出助手
ミゲル・アルバレス・フェルナンデス
ヘア、メイクアップ
谷紗矢乃
コーディネーション
岡田理絵、北堀あすみ（YCAM）
総合プロデューサー
竹下暁子（YCAM）
コプロデューサー
カロル・フィールツ（イスラエル・ガルバン・カンパニー）
※本作はクレジットに関わらず、上記のメンバーがアイデアを出し合うことで制作されました。
テクニカルサポート
やの舞台
リーガル・コンサルタント
水野祐（シティライツ法律事務所）
アドミニストレーション
有福喜代美（YCAM）、浅本由梨子（YCAM）、ロサリオ・ガジャルド（イ スラエル・ガルバン・カンパニー）
スペイン側共同制作コーディネーション
ピラール・ロペス（イスラエル・ガルバン・カンパニー）
通訳、翻訳
岡田理絵
主催
公益財団法人山口市文化振興財団
共同開発
YCAM InterLab
後援
山口市、山口市教育委員会
助成
文化庁文化芸術振興費補助金（劇場・音楽堂等機能強化推進事業) 独立行政法人日本芸術文化振興会
協賛
駐日スペイン大使館