音が上からおちる動画の作り方～ピアノロールアプリ：Synthesia
テルミンを弾くときに両手がふさがってしまうので楽譜が見えず不便を感じていました。楽譜を流してくれるSynthesiaを見ながら演奏すると便利だと思いました。ここでは、Synthesiaソフト導入から、DTMで作ったMIDIファイルを取り入れて動画を取るまでを記します。
Synthesia（シンセシア）の公式サイトとインストール
公式サイト
MIDIデータ（演奏をデジタル化したもの）を公式サイトで購入するか、外部からMIDIデータを入手したり自分で作成したりして、ソフトに取り込むと上のような鍵盤と音が落ちていく動画が作れます。
価格
無料版と有料版があり、外部から入手したものを取り込めるのは有料版となるそうなので、自分でMIDIデータを作る場合は有料版（買取）となります。現在はサマーセール中で $29.00 USD (¥4,791)
Synthesiaで出来ること
ここではMIDIファイルで鍵盤に音の光が落ちる動画を作成することを目的としますが、Synthesiaでは電子ピアノなどの鍵盤楽器と連携して曲の演奏の練習用にも使えます。インストール～有料版と無料版の違いなどの詳細は「けんばんプレイヤーズ」のブログに紹介されています。
次のSynthesiaFanもmidiファイルを提供しているサイトの紹介なども含め詳しい説明が記載されています。
実際に演奏で鍵盤楽器の練習している方のYouTube動画はこちらです。
インストール後
始めは無料で試してみます。
▶無料版を試してみる
公式サイトの指示通りにすればインストールは簡単ですぐ済みます。具体的なインストール方法は上記の「けんばんプレイヤーズ」のブログの中に書かれています。
ホーム画面
ソフトを立ち上げるとすぐにホーム画面が出てくるので楽曲のプレイを押して試しにGreensleevesを選んで試しました。すでに選択されたものはプレイリストに名前が上がります。
楽曲選択画面
楽曲のプレイを押して中央くらいにあるHarderのフォルダをクリックし、次の画面の中のアンロックアイコンがついているGreensleevesを選択しました。アンロックアイコンがついている曲は無料で利用できます。
楽曲演奏設定画面
楽曲をクリックすると「見て弾くだけ」にするか、「手、色、楽器」を設定するかを選択する場面があります。
「見て弾くだけ」をクリックすると
「手、色、楽器」をクリックすると
Greensleevesは左と右手で引くので各々の楽器を選択することができます。設定後に「見て弾くだけ」を選択して動画を再生します。
楽譜を表示したり鍵盤の数を調節するには
「見て弾くだけ」画面の上段から鍵盤の数や楽譜を表示したりできます。下図では、楽譜を個別に表示するやりかたを説明しています。上段の左端のアイコンをクリックして「楽譜」のボタンをオンにすると楽譜がその下に表示されます。「手、色、楽器」画面では初期設定では背景となっているところを、右手・左手のいずれかにすると楽譜に反映されます（音の高さの幅に応じて1段か2段にわかれます）。個別の音符で選択するには、カスタムにして表示される画面からいずれかの手を選択すると、その音符のみが楽譜に反映されるようになります。
▶有料版を試してみる
アンロック（鍵が開いた）マークがついたものは無料でも演奏できますが、マークがない曲を選ぶとアンロックを催促されるなどの画面が出ます。
アンロック催促画面
「もっと曲を追加する」
また、画面左下の「もっと曲を追加する」を押して外部からMIDIファイルを入れようとすると、フォルダーを検索する画面に誘導されますが、フォルダーを検索しても曲が追加されないので、結局有料サイトで購入することに気が付きます。上の図のように「有料サイトに訪問し、今すぐ購入します！」をクリックするとすぐに課金サイトに飛びますので必要であれば課金します。
課金してから自分が作ったMIDIファイルを格納したフォルダーを検索して追加しておくと、その中に含まれる外部のMIDIファイルが曲リスト名に追加されています。最後の列に自分が作ったファイル「水族館のMIDI」が追加されています。
外部MIDIファイル演奏設定画面
複数のトラックがありますがそれぞれ個別トラックも設定を変えることができます。
下図では右上段に小さなアイコンが並んでいるところをクリックして詳細設定ができます。虫眼鏡マークをクリックすると画面の鍵盤の数を指定することもでき、ここでは88鍵盤に設定しました。曲の速さは元のMIDIファイルに従っています。
更に詳しい設定画面の解説
更に詳しい設定は以下のブログが参考になります。
”fujitamablog”氏の「Synthesiaの[Shortcuts]の設定画面を解説します」
動画の録画方法（Windows）
他に動画のソフトがない場合にWindowsで動画を行う場合について説明します。
こちらのブログに詳細が解説されています。
Windows 10 の標準機能またはWindows11でも同じ操作方法で、画面録画を撮ることができます。
動画キャプチャはキーボードの『Windows』＋『G』を同時に押して、操作パネルを開きます。
『Windows』＋『G』＋『R』で録画の開始／停止 （あるいは、左側にある操作パネルの●ボタン「録画を開始」をクリックすると、直ぐに録画が開始され、右側に停止ボタン■が現われます。停止の際にはそれを押します。）
動画の録画ファイルは、既定値では「ビデオ」フォルダ内にある「キャプチャ」フォルダに保存されています。
AfterEffectとの連携
出来た動画(mp4)ファイルは、ピアノ楽器以外の楽器にも変更できるのでそのままでもよいですが、Cubaseで作成した音声(wav)の方が気に入っているので、AfterEffect上で音を変更して出力します。ウェーブフォームで音の波形を一致させます。
▶作成した動画～サン=サーンス：組曲「動物の謝肉祭」より『水族館』
テルミンでは両手が演奏で取られるのでSynthesiaに楽譜を入れるのも便利ですが、音の光が上から下に落ちる画面が小さくなるので楽譜はいれずに動画を取りました。Synthesiaではピアノ以外に様々な楽器の音が使えますが、好みでAfterEffectという動画作成ソフトを使って音声部分をCubaseで作ったwavファイルに変えています。
Synthesia以外で音の光が上から落ちる動画作成ソフト
今わかっている範囲では、音が落ちる動画はSeeMusicというソフトでもあります。Synthesiaの方が知名度が低いようで解説動画や文章はあまりありません。
SeeMusic
”Ray【ピアノ楽譜&耳コピ】”氏のYouTube動画で初歩的な使い方の説明があります。
"Bas Leear"氏のYouTube動画ではSynthesiaとSeeMusicの画面の違いが比較されています。Synthesiaは平面的でシンプルなのに対し、SeeMusicの画面は光がネオン風で劇場的です。
https://youtu.be/lSa3s7QMWQU?si=hgbF8AMcIO05KfC1
演奏者の手が入り込んでいる動画も、自分が演奏する手元の動画とそのMIDIファイルを組み合わせればできます。
"Jazzutako 耳コピ・ジャズピアノ Gold Coast Life"氏のYouTubeで解説があります。