Blackmagic Creator's Close Up #8 - 真鍋大度 【vol.3 Blackmagic Night】 (3/3)
本連載は、映像業界の最先端で活躍するクリエイターの歩んできたストーリーや思考にフォーカスしインタビューする企画です。
今回は特別編として、5月下旬に2日間開催された『Blackmagic Night』にてグラミー賞受賞アーティストKnxwledge（ナレッジ）さんと初共演をされた真鍋大度さんに、当日の様子や制作に関すること、学生時代について伺いました。
プロフィール
真鍋大度（まなべ だいと）
1976年東京生まれ。メディアアーティスト、プログラマー、DJ、VJ、Rhizomatiks（ライゾマティクス）主宰。テクノロジーとアートを融合させた作品を多数制作。坂本龍一、Bjork、Arca、Grimes、Nosaj Thing、Squarepusher、Machinedrum、サカナクション、Perfume、ELEVENPLAYを始めとしたあらゆるアーティストとの共同制作など、幅広いコラボレーション作品でも知られる。革新的なプロジェクトを手がけ、国内外で多数の賞を受賞。
Blackmagic Night出演に至る経緯
― まさかこのような夢の初共演が自社イベントで叶うとは思っていませんでした。今回Blackmagic NightでKnxwledgeさんとの共演に至った経緯を教えてください。
「実は今回の話は、Knxwledgeから『日本に来るから何かやろう』というメッセージがきっかけだったんです。当初は単純に会って遊ぶ程度の話だったんですが、いつの間にかパフォーマンスを一緒にやることになっていました（笑）。元々Knxwledgeは私が非常に尊敬しているアーティストで、インスタグラムを通じて交流のある友人でもあったんです。」
ー お忙しい中だったと思いますが、共演を決めた理由は？
「Knxwledgeとコラボレーションできる機会は滅多にないですからね。それに、普段からBlackmagic Designの製品を使用していて、そのSDK（ソフトウェア開発キット）を活用すれば、他のクリエイターがあまり試みていないような斬新なことができそうだと考えたんです。」
― Blackmagic Designの製品を選んでいただけている理由をお聞かせください。
「SDKが提供されているのが、私たちのようなクリエイター兼エンジニアにとって非常に有益なんです。機材を使用していると、当初想定していなかった機能が必要になることがよくありますよね。そういった場合にSDKがあれば、私たちで独自のソフトウェアを開発できるんです。開発の自由度は創造的プロセスにおいて極めて重要で、制約にとらわれずに自由にアイデアを展開できるようになるんです。
今回、最も重要な部分を開発してくれたエンジニアはカイル・マクドナルド（※）という方なんですが、SDKがあれば彼のようなスーパーハッカーでなくても、通常では難しいようなシステムの開発が可能になるんです。
私たちの場合、ステージパフォーマンスが多いので、遅延の問題が非常に重要になってきます。様々な解決方法がありますが、Blackmagic NightではIntencity Pro 4KとBlackmagic DesignのSDKを使用して独自にシステムを開発する方法が、最も遅延を抑えられることもあり、この方法を採用しました。」
※ カイル・マクドナルド：クリエイティブコーディングの分野で著名なプログラマー、アーティスト。
パフォーマンスは当日まで決まっていなかった
― 当日のパフォーマンス内容はどのように決めましたか？
「実は何をやるかは当日のリハまで決まってなかったんですよ。2人でDJをやるのか、それともこっちは映像を担当するのか。自分たちが一番楽しくパフォーマンスやることが大事だったので、それを優先して、その場で話しながら決めていきましたね。」
― では機材の準備はどうされたのでしょうか？
「映像もDJもできるようスタンバイしてました。直前まではB2Bの準備もしてたんですけど、結局映像に専念することに。Knxwledgeに確認したら『問題ないぜ』って。ファンはKnxwledgeのプレイを見たいでしょうしね。
VJの機材は、Blackmagic Designさんのイベントだったので、現場でも結構いろいろ調達させてもらいました（笑）」
― ソフトウェアはどのようなものを準備されましたか？
「リアルタイム生成AIパートは事前にカイル・マクドナルドと開発しました。一方で、KnxwledgeのDJシステムと僕の映像システムを同期させるソフトは現場で作りました。音量やテンポに合わせてエフェクトをかけられるシステムです。」
― 2日間とも同じセットアップでやられていたのですか？
「いえ、Knxwledgeが2日目は違うソフトを使うことになったので、こちらも対応する必要があり新たにソフトを作りました。彼は本当に真面目な人で直前までアップデートしていましたね。それを見て、こっちも応えなきゃって思いましたね。」
リアルタイムで変化するAIエフェクト
― VJの種類は複数あったのでしょうか？
「大きく2種類ありました。1つは従来型のVJで、音やテンポに合わせて幾何学図形などを反応させるもの。もう1つは、リアルタイム生成AIを使ったソフトウェアです。これはBlackmagic DesignのSDKを使って開発しました。Intencity Pro 4Kで場内カメラの映像を取り込み、その先の映像生成は独自ソフトで行いました。」
― 音と連動して柴犬や猫が出現するVJが印象的でした。リアルタイムにどうやってエフェクトをかけていたのでしょうか？
「テキストから画像を生成する仕組みを使っています。例えば『80年代NYのヒップホップ』というプロンプトを書くと、そのように変換されます。さらに音に合わせてエフェクトのかかり方を変化させました。複数のプロンプトを使うことが出来るのも大きな特徴でした。例えば『柴犬』と『猫』のプロンプトがあれば、音量が大きいと柴犬に、小さいと猫に近づくといった具合です。」
ー 今まで見たことのない効果でしたが、新しいエフェクトの技術なのでしょうか？
「これまでも音に合わせて映像の明るさや色、形状を変えることはできました。しかし今は、リアルタイムでAIが画像生成する際の高次元なパラメーターを音に合わせて変化させられるようになったんです。こういったリアルタイム処理が可能になったのは本当に最近で、2023年11月頃からですね。」
― エフェクト関連はどこまで事前に準備しましたか？
「いくつかは事前に用意していましたが、大半はknxwledgeのプレイを聴きながらその場でプロンプトを考えていました。従来のVJとは異なり、言語的な想像力が必要だったのが特徴的でしたね。」
― 本番中はどのように操作していましたか？
「プロンプトの入力はMacBook Proのキーボードで行い、音に合わせたリアルタイム操作はiPadのUIを使っていました。iPadでは、エフェクトをフェーダーやボタンで調整したり、ランダムボタンを使ったりと、様々な操作を行っていました。これにより、柔軟かつ直感的な操作が可能になりました。」
Blackmagic Nightを終えて
―世界的なアーティストであるお2人が弊社製品を使って最高のパフォーマンスをみせてくれた、夢のような2日間でした。初の試みでしたが、Blackmagic Nightはいかがでしたでしょうか？
「正直なところ普通のクラブイベントでパフォーマンスするような雰囲気だったので、企業のイベントという意識はあまりなかったですね。とても楽しかったです。Knxwledgeとも良い関係が築けたし、オーディエンスの反応も素晴らしかった。
特筆すべきは、楽しむことと学ぶことが共存していたところですね。会場では私たちのVJのプレビュー画面が見えていたので、お客さんも何が起きているかリアルタイムで理解できたはずです。単に楽しむだけでなく、映像の仕組みや機材について学べる機会にもなっていたと思います。
こういった学びと楽しさが融合したイベントがもっと増えると良いですね。ぜひまた開催してください。」
