アメリカ　AIで自分の「絵の音を聞く」アーティスト

ドイツ・スタートアップ情報businessinsider5/6
アメリカのShane Guffoggは、「色を聞く」能力を持つ抽象的なマルチメディア アーティストです。
Shane Guffoggは,AI の専門家やミュージシャンと協力して、彼のイメージに合わせて音楽を作曲しました。

Shane Guffoggの絵から色コードと多くのクラシック音楽楽譜を機械学習したAIが楽譜を作り、それを人間のピアニストが弾きます。
ヴェネツィア・ビエンナーレの開幕週、私の最後の展覧会のオープニングで、アンソニーは私の絵画『オンリー・スルー・タイム 時間は征服される』にインスピレーションを受けて作曲したソナタを生の聴衆の前で世界初演しました

AIのおかげで、彼の創造的なプロセスは改善されたと彼はのべました
何年もの間、私は自分の絵がどのようなサウンドになるだろうかと考えてきました。 AI 革命により、私は自分を助けてくれる専門家を探すようになりました。私の最初の訪問先は、AI と量子コンピューティングの専門家である Radhika Dirks でした。私たちはZoomセッションを数回受けましたが、彼女は、自分の知る限り、AIプログラムは私を助けてくれないと言いました。
代わりに、彼女は、頭の中で聞いた音楽のコードに色を割り当てる視覚的なアルファベットを作成することを提案しました。
その後、 Jonah LynchというAI研究者と知り合いました。彼はデジタル人文科学と機械学習の間のインターフェースで働いています。彼は私の作品を「読み取り」、音楽に変換できるプログラムを開発しました
Jonah Lynchは私が絵を描いているビデオを見て、私の手の動きを研究し、絵画の画像をキャプチャして私の手の動きを追跡し、絵画によってキャプチャされた各色を対応するコードに割り当てるソフトウェアを作成しました。次に、このコード進行をニューラル ネットワークに入力し、過去 500 年間のキーボード音楽のほとんどを記憶させました。彼は、楽譜のページを作成するために、西洋音楽のカラーコードシーケンスと歴史に基づいて新しいシーケンスを「夢を描く」ようにネットワークに依頼しました。

私はその音楽をピアニストの Anthonyに提示しました。この時点の音楽は主に一連の和音で構成されていました。Anthonyは、少しアレンジし直せばメロディーができるだろうと言いました。
多くの人が人工知能を非常に恐れていることは承知していますが、Shane Guffoggは言います「私も人工知能は人間の監視が必要なツールだと考えています。それは目的のための手段ではありません。それにもかかわらず、それは私に多くの可能性をもたらし、私の創造的なプロセスを豊かにしてくれました。それらがなかったら、私のイメージの音楽性を本当に表現できたかどうかはわかりません。」
・これがAI色楽譜の音楽付き展覧会の動画です