MIDIキーボードでアニメ映像をリアルタイムに切り替える
作曲家、ギタリスト、アニメーション作家として活動している大柴拓（おおしば たく）と申します。
私の主な活動のひとつ『映像と生演奏の共演』に用いているテクニックの中で、今回は「MIDI鍵盤による映像カットの切り替え」について書いてみたいと思います！
こういうやつです
解説します
MIDIキーボードで何をしているの？
このように、MIDIキーボードの主に右手（メロディ）の各キーに対応する台詞を設定してあり、それを押すと映像のカットが切り替わり・台詞を発音するようにプログラミングしてあります。
和音の左手には何も設定していません。逆に、設定してある音を使わない音選びをしています（カットが切り替わってしまうので）。
メロディの順番や連打の回数を変えればそれに反応して映像もリアルタイムに変化するので、特にライブパフォーマンスでの楽しい演出になり得ます。
MIDIとは？
MIDI（ミディ、Musical Instrument Digital Interface）は、電子楽器の演奏データを機器間で転送・共有するための共通規格である[1]。日本のMIDI規格協議会（JMSC、現在の社団法人音楽電子事業協会）と国際団体のMIDI Manufacturers Association (MMA) により策定され1981年に公開された。
思った以上に専門的に解説されてました……
もの凄く大雑把に言うと、音楽キーボードなどの電子楽器とパソコンをケーブルで繋いで演奏データ（音程、音量、音色など）を転送できる仕組みのことです。
取得したMIDIデータをパソコン内の専用アプリで処理することでキーボードと連携した様々な反応を起こすことができます。
簡単な処理の流れ
鍵盤の楽音は Ableton Live というDAWアプリにMIDI信号を入力することによって出しています。
そこから TDAbleton という連携システムを使って、映像をリアルタイム処理できるアプリ TouchDesigner までMIDI信号を伝達させて映像の処理をします。映像カットの切り替え、台詞音の呼び出しは後者のアプリで行っています。
鍵盤から伝達されたMIDI信号は音程、音量、音色など様々でデータを持っていますが、今回は「音程」のデータをもとに処理を分岐しています。
MIDIキーボードは各音程に固有の番号が割り振られています。
69番（ラの音）の場合は
・右のキャラのズームに映像切り替え
・「なあ」の台詞を表示・発音
というように、押した鍵盤固有の番号をもとに分岐して期待する処理を行います。
各鍵盤は信号の ON / OFF のスイッチですが、たまに操作しているキーボード上部のノブは 0~127の数値を持っていて、絶えずその情報を送信しています。
今回、２キャラとも着地してる状態がノブの真ん中(数値は64)ですが、それより大きい数値に回した場合は左のキャラが宙に浮き、小さい数値にすると右のキャラが沈みます。（なので右キャラは永遠に宙には浮べない仕様でした……笑）
まとめ
簡単ですが、こんな感じに流れをまとめてみました。
映像と生演奏の共演
冒頭にも書いた通り「映像と生演奏の共演」は私が一番力を入れている活動のひとつです。従来これを実現してきたのは主に「決まった映像に生演奏が合わせる」というものでした。無声映画に生演奏をつけていたアレです。
しかし「音楽がひたすら追従する側では勿体ない！」と思い、こうした機械を駆使して「音楽に合わせて映像が変化する」状況も作り出すことができました。
ライブがおすすめ
この仕組みを一番楽しく活かせるのはやはりライブ・パフォーマンスだと思います。映像作品ならこの仕組みを使わなくてもタイミングが合って見えるように編集することができます。
そうでない、ライブ・特に即興的なリズムやメロディを演奏するパフォーマンスだと、きっと不思議で面白い演出にすることができるのではないかと感じます。
課題
実際にこの仕組みでライブを何度も行っていますが「リアルタイムで操作してるんだ」ということは意外に伝わりにくいのだなと感じます。
理由として、操作している（MIDI鍵盤を押し分けている）動作が客席からだと細かくて見え辛いということがあるかもしれません。やるなら「この動作によって→この映像の変化です！」というのを思いっきり明快に伝える作戦を考える必要があるかもしれません。
最後まで読んでいただきありがとうございました！
もしこの記事を気に入ってもらえたらイイねを押していただけたら嬉しいです（アカウント登録してなくても押せます！）。
YouTube や Twitter もやっていますので、こちらも登録していただけた際には……私が喜びます。