見出し画像

AI × Music × Interaction

Junichi Shimizu

こんにちは、GADARA の清水です。
GADARAというものづくりユニットで作品制作を行う側、普段はメーカーで研究職をやっております。(GADARAについて、詳しく知りたい方はぜひこちらの記事をお読みください）

さて今回は、2019年にMUTEK.JPで発表させていただいた、自然物とAIによる音楽生成ツールを組み合わせた実験的パフォーマンスについて、なぜそのような作品を作ろうと思ったのか、制作の経緯からAIを用いた新たな音楽表現の可能性について書きたいと思います。

自然物を使ったこれからの道具のデザインの探究

　そもそも我々GADARAは以前から、自然物が持つ感性的な価値に興味を持ち、石を動かすことでライトの明るさを調光したり、スピーカーの音量を調整するといった試みをしていました。

■ 新しい人間と道具の関係性を探索するための仮説
自然物が持つ特性に機能を融かしたプロダクトデザインを行うことで、人の新しい振る舞いや感情を発見できるのではないか

　たくさんある石の中でも「何故かこの石が私は好き」といった、自然物の持つ形態やテクスチャと、それを触る人の個性・感性によって受け取り方が変わるというところに面白さを感じていました。

そこで、音楽というテーマを切り口にし、自然物に音楽のような演奏機能を付与することで、既成品にはない奏法や魅力的な音を探す。「自然物の個体差」と「操作者の個性」が影響し合うインタラクションを探索し始めました。

まず初めに作ったプロトタイプがこちらです。

石や木の中に動きをセンシングするためのジャイロ センサーを埋め込み、その動きに合わせて鶯の音の高さが変ったり、再生速度が変わっていることがわかります。かなりラフなプロトタイプですが、こういったところからいつもスタートします。笑

さらに、音楽的な表現にするため、DAWという音楽ソフトと連携するプロトタイプなども試作しました。

ただ、石を回すことによって、音にエフェクトがかかるシンプルな仕組みなのですが、石という何気ない物体から操作できるだけで、不思議と触って楽しいと感じます。この石もなぜか回しやすいです。

余談が長いですが、最終的に考えていた体験のスケッチがこちらです。

画像2

マスター石(M)を持つ人が音楽の全体を調整し、自由気ままに音色を変えたり発生させたりする演奏者(L,R)の構成によって成り立ちます。自分でも何を言っているか分からなくなりそうなので、深くは言及しませんが、演奏者は自然物という制約のある道具のおかげで、音楽についての知識がない方でも、簡単に扱うことができます。つまり、これまで観客だった人が音楽を演奏するという行為に参加できる可能性があると思いました。

自然物という何気ない道具を使って、音楽の表現がどこまで出来るのかをプロトタイプしながら発見していく過程自体がインタラクションデザインの楽しいところですね。

画像1

石を拾って、センサーを埋め込み、楽器として使い、使い終わったら自然に返す、そんなことが出来ればなぁと妄想しておりました。この一連のプロトタイプは100 banchという場所で制作させていただきました。

AI Musicの新たな音楽表現の可能性

　さて、ここからは、AI用いることでより新たな音楽表現の可能性を探索していきます。昨年のMUTEK.JPで開催されたAI Music Labに応募したことがきっかけとなり、AI Musicというテーマで制作し始めました。

“MUTEK.JPとは、デジタル・クリエイティビティ、電子音楽、オーディオ・ビジュアルアートの創造性の開発、文化芸術活動の普及を目的とした、国際的に名高い芸術文化活動を行う団体”
"テクノロジーによって進化した音楽の突然変異を最前線で追い続けながら、音楽とテクノロジーと対話する世界を探し続けるという考え方をもっています”

これまでインタラクションデザインという切り口でものづくりを進めていきたGADARAなので、MUTEK.JPでの経験は、海外から有数のアーティストが集まる異世界でありとても新鮮でした。

まず約二週間にかけて、AIについての座学やツールの紹介をしていただくワークショップに参加しました。

画像3

ワークショップの様子

そこから、自分たちの作品にAIを応用し、音楽表現の可能性を導き出します。私たちは、今回のAI Music LabのパートナーでもあるQosmo Incさんの開発したSampleVAEというツールを用いることにしました。

SampleVAEについては、開発者のMaxさんが解説しているこちらの記事が参考になるかと思います。例えば、約10,000のドラムサンプルをAIに学習させることで、AIにインプットする音源からそれに近い音をAIが生成したり、それがドラムの音なのか、スネアなのかといった識別が可能となります。

画像4

AIの学習データにはない、石や自然物を叩く音をインプットし、そこからAIが思うドラムやキックの音を生成すると、どうなるのでしょう。

自然物が持つユニークな音響的特性とAIを組み合わせたパフォーマンスに挑戦しました。

笑みが溢れちゃっていますが、石や貝を叩いた音を今回のAIに与えてあけるど、ノイズかかったなんとも奥深い音になりました。(演奏が終わったあと、見てくださった方からバナナの音が一番よかったと言われました笑）

このように、AIによる音生成に挑戦し、”楽器の音”をモデル化したもを ”自然物の音”ような異質なモノと組み合わせることで、新たな表現の可能性を見出せたような気がします。

そしてまた、AI ×MUTEK.JP×インタラクション デザインユニットという突然変異が起きたからこそ、今回の作品に繋がったのだと思いました。これをきっかけにもっともっと多くの人とコラボして、AI×Music×Interactionというフィールドを盛り上げていきたいです。

（今回のMUTEK.JPで同じ参加者だったアーティストの一言が印象的でした）

今回の音生成ツールはgithubで公開中です。よかったらお試しください。


いただいたサポートはGADARAでの作品作りに使わせていただきます・・！