身体に宿した経験を伝播させていく：AR三兄弟（長男抜き）のたのしい組み物教室
THEATRE for ALL(シアターフォーオール、以下、TfA)では、さまざまな「文化芸術へのバリア」について向き合いながら、アーティストと一緒にクリエイティブな解決方法を探り、実践を重ねています。
TfAのサイトより配信されている映像作品『AR三兄弟の素晴らしきこの世界（バリアフリー編）』。その中に登場するAR作品の3Dデータとモーションデータが、一般販売されました。その販売開始を記念して、開発ユニット・AR三兄弟がデータの活用方法をレクチャーするオンライントークイベント「AR三兄弟（長男抜き）のたのしい組み物教室」が開催されました。
AR三兄弟
日本を代表する開発ユニット。芸能から芸術、空間から時間に至るまで。あらゆるジャンルを拡張している。長男 川田十夢、次男 髙木伸二、三男 オガサワラユウ。血はつながっていない、あくまでお金でつながった三兄弟である。
金森香
THEATRE for ALL 統括ディレクター／(株）precog 役員／（一社）DRIFTERS INTERNATIONAL 代表
出版社リトルモアを経て、2001年ファッションブランド「シアタープロダクツ」を設立し、2017年まで取締役。2010年NPO法人DRIFTERS INTERNATIONALを設立し、芸術祭の企画運営・ファッションショー・出版企画などをプロデュースする。2019年日本財団主催「True Colors Festival – 超ダイバーシティ芸術祭 – 」のディレクターを担当。2020年にprecogに参画し、アクセシビリティや広報・PR、ブランディング事業等を担当。
「新たな表現の場」に対する「モーションデータ」というアプローチ
まずは、今回のトークイベントが開催されるきっかけとなったプロジェクト「AR三兄弟の素晴らしきこの世界（バリアフリー編）」についてご紹介します。
「AR三兄弟の素晴らしきこの世界（バリアフリー編）」は、TfAと開発ユニット・AR三兄弟のコラボレーションによって生まれた取り組みです。
近年、コロナ禍で様々なリアルイベント・公演が中止となるなか、身体に特別な経験を宿したプロ・パフォーマーの表現の場が失われつつあります。そこで、彼らが仕事を続けられる場所を生み出すための解決策として「身体のデータをアーカイブする」というアイディアにたどり着きました。
ネットショップサービス・BOOTHのTfA公式ショップから販売されるのは、バレリーナや相撲とりをモデリングした3Dデータと、３種類の3Dモーションデータ（3Dモデルを動かすためのデータ）。購入者はデータを、AR・VR作品やゲーム制作へ自由に活用することができます。そして今回の売上は、3Dのモデルとなったダンサーや相撲とりにフィーとして支払われるのです。
しかし、3Dデータに馴染みのない人にとっては「データをどのように使えば……？」というのが正直な話。
そこで開催されたのが、9月1日（水）に開催されたオンライントークイベント「AR三兄弟（長男抜き）のたのしい組み物教室」です。AR三兄弟の次男・高木伸二さんと三男・小笠原雄さんが登壇し「販売されているデータをどう料理できるか」を事例とともに紹介しました。
また、司会進行としてTHEATRE for ALL 金森香、そして横浜美術大学の学生と、ゲストとしてAR作品を制作するアーティスト・小沼亜未さん、安部妃那乃さんが参加。配信時には聴覚障害者向けのアプリ「UDトーク」による文字支援も行われました。
「華麗に踊るお相撲さん」のつくり方
トークセッションでは、はじめに「AR三兄弟の素晴らしきこの世界（バリアフリー編）」を上映。AR三兄弟がバレリーナと相撲とりの身体を、映画でも使われているような機材とソフトを使って撮影・制作する様子が紹介されました。
▼「AR三兄弟の素晴らしきこの世界（バリアフリー編）」はこちらからご視聴いただけます（無料）
ポイントは、3Dモデルの骨格情報を細かに編集し、よりリアルな美しさを追求していること。バレリーナのモデルとなったダンサー・村中智さんからの「足をまっすぐに見せたい」といった要望を受け、膝が曲がらないように足の角度を微調整するなど、細部に至るまで丁寧に作りあげました。
また、3Dモデルの動きに合わせて身体の影を作ったり、水面に動きが反射したり……といったリアリティある演出も、特筆すべき点です。例えば水たまりの上にバレリーナのデータを配置すると、水面にバレリーナの影が。
このように購入したデータを動かし、映像作品を作るためにはどういったツールを活用すればいいのでしょうか。今回のオンラインイベントでは基本編から応用編まで、全6パターンの活用方法が紹介されました。
■基本編：Unity（ユニティ）
まず、もっともシンプルに3Dモデルを動かすためのツールのひとつに「Unity」があります。
「Unity」とは、ゲーム制作やアニメーション制作をするためのフリーのソフトウェア。3Dモデルのデータを取り込み、アニメーションに3Dモーションを設定すれば、モデルがデータ通りに動きだします。
■応用編①：Mixamo（ミクサモ）
「Mixamo」を活用すれば、3Dモデルに「踊る」「相撲をとる」以外の動きを設定することも。「Mixamo」とは3Dモデルの骨格情報を設定して、モーションデータのテンプレートをもとに3Dモデルを動かせるサイト。Unity同様、ゲーム制作やAR／VR作品を作成するときに使います。このツールによって、購入した3Dモーションデータ以外の動きを3Dモデルに反映させることが可能に。
■応用編②：モーションキャプチャ
では、「Mixamo」のテンプレートにないような動きをつくりたい場合はどうすればいいのでしょうか。今回の3Dモーションを制作するために、AR三兄弟は広いスタジオを借り、プロの機材で撮影していましたが……。
スタジオ代や機材費などを抑える代わりに、高木さん・小笠原さんが提案するのは「スマートフォンアプリ」。近年では「ARkit3」（ARアプリを作るためのソフトウェア）を用いたモーションキャプチャアプリなども登場しており、手持ちのスマホで骨格情報を取得できるアプリケーションもあります。
■応用編③：openpose（オープンポーズ）
また、自分で再現できない動き――例えば新体操選手の機敏な動きなどをモーションデータにしたいときは「openpose」も役立ちます。「openpose」は、映像から人物の骨格を深層学習（ディープラーニング）で推定するシステム。今後技術が進歩していけば、故人の動画データから動きの情報を取得し、動きを蘇らせる……といったことも実現するかもしれません。
■応用編④モーションの入れ替え
そして「基本編」で活用した「Unity」では、複数のセットデータを購入した人ならではの楽しみ方も用意されています。
販売データでは、モデルの肘の位置や肩の位置などの骨格情報を「基本的なポーズ」で取得し、調整しています。例えば空手家の3Dモデルにバレリーナの3Dモーションデータを設定することで「踊る空手家」を画面上に生み出すことも可能です。
■応用編⑤モーション調整
最後に、映像やゲームをより美しく、滑らかに仕上げたい人のための応用方法をご紹介します。
「Motion Builder」は、3Dモデルの身体が地面にめり込んでいたり、動きが不自然になっていたりする箇所を直感的に修正することができます。関節の動きを編集できるだけではなく、「跳ぶ」「蹴る」「回る」といったひとつひとつのモーションをスムーズに繋げるような調整も可能です。
「現実では難しい動き」が再現できる
ではこれらの基礎・応用技を駆使することで、実際にどういった作品を作ることができるのでしょうか。
東京ビエンナーレ2020/2021で公開されたAR三兄弟によるプロジェクト「都市と経験のスケール」では、車椅子YouTuberの寺田ユースケさんが立ち上がり、踊り出す姿が描かれています。寺田さんは踊りながら、徐々にバレリーナや動物などへと姿を変えていきます。
なお、寺田さんとAR三兄弟とのコラボレーションのきっかけは、彼がAR三兄弟が企画・技術開発を手がけた舞台「NO_BORDER」を鑑賞したこと。観客を3Dスキャンし、舞台上で踊らせる演出を観た寺田さんが「普段は歩けないけど、アバターとして自在に動いている自分を観て感動した」ことを機に、コラボレーションが実現しました。このように「現実では難しい動き」が再現できることにも、モーションデータの可能性が潜んでいます。
また、AR三兄弟は東京ビエンナーレにあわせ、相撲とりとバレリーナ、それぞれの動きを入れ替えた作品も発表。相撲とりが軽やかに踊りだす様子が描かれました。そもそも相撲とバレリーナという組み合わせについて「動きを入れ替えることで意外性が生まれるモデルを選んだ」という高木さん。小笠原さんは二つの“飛距離がある”対象をAR作品にすることで「動きに宿された経験」について考えるきっかけが生まれた、と振り返ります。
「実際に動きを入れ替えてみて、初めて『どんな動きがバレリーナをバレリーナたらしめているか』を感じました。バレリーナの動きを身体に宿すだけで、相撲とりもバレリーナになれる。身体の動きは、長年の経験をもとに作られるのだなと、改めて思いました」（小笠原）
データ販売は“未来の話”のスタート地点
終盤では、参加した学生やアーティストからAR三兄弟に対し「なぜARに興味を持ったのか」「ARのアイディアをどのように見つけるのか」といった質疑応答がなされ、1時間の配信は幕を閉じました。
配信終了後、参加した学生からは「ARというものは自分になんとかなる物ではないと感じていました。このレクチャーを受けARのことについて知れば知るほど自分の作品制作に活用できないか、なにか身近なことに役立てられないかなどを考えるきっかけになり、手に届きそうなものだと感じることができました」（横浜美術大学 映像メディアデザインコース・３年）といった感想が。
また「データに内蔵されているモーションを街中のベンチや街頭、信号機などをモデルとしたオブジェクトに移植してバレエを踊らせたり、相撲を取らせたりしてみたいです。ARなどで普段動かないものを動かしてみると現実での物体の見え方が変わってくると思います」（横浜美術大学 映像メディアデザインコース・３年）という、データを活用したアイディアも寄せられました。
アーティストとして活動している安部妃那乃さん、小沼亜未さんからは次のような意見も。
「バレリーナや力士など、あえてそのようなユニークなアイデアやモチーフを徹底したクオリティでAR上に見せる表現の豊かさと、それをやることで様々な気付きを同時に実験的に試みながら発見できることが印象的でした。またこういうモチーフにすることでより体験者がハードルを下げて体験する、共有することが可能なのだなと思いました。
バレリーナと力士を用いていろんなバイヤスを横断（ジェンダー/スポーツのカテゴライズ/場所：相撲やバレエは舞台装置が必要なスポーツであるがそれがないことのスポーツのあり方）できるような仕掛けの表現が面白そうです」（安部妃那乃）
「内在した動き、経験を別の体に充てることができるというのはとても興味深いと思いました。例えば、歴史や文化をもっと身近に感じてもらい、風化させないために利用できていけたらと思いました。個人や個々の好きなキャラクターの3Dモデルを用いていくことでより親近感が湧き、文化にも、ARにも興味を持っていく人が増えるのではないかと思いました。
実際に活用するなら、リズムゲームがあったら面白いと思いました。バレエであれば、リズムに合わせて、バレリーナが踊り、全国で競い合うようなゲームです。スコアが伸びると様々なキャラクターを使えるようになり、それぞれのキャラクターにモーションを当てはめていけたら面白いと思います」（小沼亜未）
▼参加した小沼さんのVR作品
https://youtu.be/9HIdCblQIsI
「長年の経験が内在する身体の動き」をデータとして保存するということ。その先には、職人の技術を含めたあらゆる「文化」を守る未来も期待できます。高木さんはデータ販売のもうひとつの「目的」について、レクチャーの最後にこう説明しました。
「新しい形での舞台をアーティストに提供するために始まったのが、今回のプロジェクト。ですが、今後さまざまな文化を3Dデータに残すことで、もっと世の中が発展していくと思うんです。例えば左官職人の動きを3Dデータ化すれば、いつかはロボットアームに職人の動きを宿せるようになるかもしれない。また“応用編”でも触れた通り、すでに亡くなられている人の動きを再現することも可能になりそうです。データ販売は、まさにそういった未来の話のスタート地点だと思います」（高木）
コロナ禍の影響で、表現の場に集まることが制限されてしまった現在。今も世界中の文化芸術関係者が、オンライン配信上演をはじめ「いかに舞台芸術の現場へアクセスし続けるか」を模索し続けています。
TfAもパンデミックをひとつの“バリア”と捉え、オンラインワークショップや無観客トークイベントなどをはじめとした、さまざまな解決策を提示してきました。
まさに今回のAR三兄弟との取り組みも、パフォーマーの前に立ちはだかる“コロナ”という障害を解消するための提案のひとつ。ARのようなデジタル技術が発達しているからこそ構想できたアイディアです。
進歩した技術を活用することで取り除ける障害もある。これは、我々が今回の取り組みを通して感じたことでした。
今後もTfAでは新たな技術の可能性にも着目しながら、さまざまなバリアをフリーにしていく活動を続けていきます。
▼3Dモデルと3Dモーションデータはこちらからご購入いただけます
https://theatreforall.net/movie/ar3brothers/
バレリーナ（3Dモデル＋モーション3種）
https://theatre-for-all.booth.pm/items/3203728
お相撲さんA（3Dモデル + モーション3種）
https://theatre-for-all.booth.pm/items/3193032
お相撲さんB（3Dモデル + モーション3種）
https://theatre-for-all.booth.pm/items/3173266
お相撲さんセット（3Dモデル + モーション3種）
https://theatre-for-all.booth.pm/items/3203771
空手家（3Dモデル）
https://theatre-for-all.booth.pm/items/3203721
▼このトークイベントの様子は、Youtubeでアーカイブ動画をご覧いただけます（日本語字幕付き）
https://www.youtube.com/watch?v=QingqlM1geo
▼「AR三兄弟の素晴らしきこの世界（バリアフリー編）」はこちらからご視聴いただけます（無料）
https://theatreforall.net/movie/ar3brothers/
▼解説動画【２つのQ】「AR三兄弟の素晴らしきこの世界（バリアフリー編）」では、長男の川田十夢さんと金森香さんの対談をご視聴いただけます（無料）
https://theatreforall.net/movie/arbrothers_2q/