【デモ動画あり】メロディから伴奏を自動生成するシステムを深層学習で実現。金沢工業大学 情報工学科の学生
今日はこんな記事を大学のニュースとしてアップした。
昨年12月、研究室の取材に同行した際に目にした研究で、いつかは記事にしたいと思っていた。
メロディから伴奏を自動生成するシステムを深層学習で実現。情報工学科4年 花房青空さん
2025.1.28
ピアノを練習する人の多くは、伴奏をつけることに苦労しています。
既存の伴奏生成システムでは、五線譜に正しく変換できるものはほとんどありません。
そこで情報工学科4年の花房青空さん（中沢実 研究室）は、深層学習（Deep Learning）を用いて伴奏をメロディから自動で生成するシステムを開発し、実現しました。
【当研究の概要】
花房さんはまず222個のクラシック音楽を主とした楽譜が用意されている既存の楽譜データセットを深層学習に使用することにしました。これらの楽譜ファイルを深層学習で使用できるよう数値に変換し、変換の際には、学習の煩雑さを軽減するため、音階推移と音長推移 [1] の2つに分けて学習モデルを生成しました。
音階推移学習モデルには、前方向と後ろ方向の両方から値を処理でき、前後の関係が重要である音楽に適することから、ニューラルネットワークの一つである双方向LSTM（Long Short Term Memory）を使用。
また音長推移学習には、画像や小説、音楽などに使われるディープラーニングモデルであるGAN(Generative Adversarial Networks) 敵対的生成ネットワークとも呼ばれる）を使用しました。
メロディの入力に使われるMIDIキーボードには、音の長さを音符の種類として取得する機能がないため、「BPM」（Beats Per Minute）が120の状態で演奏されていると仮定し、それに応じた秒数で音符の種類を当てはめることで、学習時と同様の形状に変換しました。
また音楽らしさを高めるため、音楽理論に基づき、メロディの調における3和音を3種類、音の高さは7段階分用意。学習モデルを通して得られた音階から、用意した3和音と最も近しい値に自動変換することで、伴奏音を調整しました。
その結果、MIDIキーボードでメロディを入力すると、以下のデモ動画のようにメロディと協調性を持つ伴奏が生成されるに至りました。
デモの動画は金沢工業大学のサイトで公開している。
音楽生成の研究分野では定量的な評価基準がなく、加えて個々人の感性や音楽経験の有無に大きく左右されるため、今後、有用的と考えられる評価基準が確立されることが期待されます。
[1] 音階推移と音長推移
音階推移：「ドレミファソラシ」といった音階が曲の中でどのように推移しているのか示したもの。
♯と♭を含めた7オクターブ分の音階に、0～83までの数値を割り振った。
（2つ目以降の音が存在しない場合84を割り振る）。
音調推移：音の長さがどのように推移しているのか示したもの。本研究では16分音符から全音符までの音符を対象に、音の長さに応じて数値を割り振った。