見出し画像

AIイタコ、AIきりたん使い方

Kioshiki Kageji

データベース制作プロジェクトで快挙を成し遂げたイタコ姉さま。
データベース自体はまだ制作中だが一足先にNEUTRINOが完成し、AIイタコが生まれた。AIきりたんと並び音声ディープラーニングで自然に歌える音声ソフトとなった。
今回はエンジニア目線でNEUTORINOを使ってみた。

・機械学習に興味がある
・音声ディープラーニングに興味がある
・東北イタコ、きりたんがスキだ
って人が対象で、音楽制作者からすると少し読みにくいかもしれない。

音声制作の流れ

イタコ姉さまはキツネに取り憑かれているということで、「こぎつね」を歌ってもらった。

制作の流れは
・MuseScoreを使って楽譜を作成する
・NEUTRINOを使って音声を推論する

画像1

Musescoreのインストール

まずは歌詞を作るためNEUTRINO公式が推奨しているMuseScoreをインストールする。

今回はVer.3.5を使用する。使い方は同サイトのハンドブック3に記載されているので、わからないことは随時確認する。またVer.2.x用のハンドブック2があるため混同しないようにする。

歌詞の作成

MuseScoreを使って歌詞を作る。
自分は「ト音記号」、「ヘ音記号」、「小節」などの言葉も知らなかったため、解説を見ても何を言っているかわからず苦労した。
何とかして「こぎつね」の歌詞入りの楽譜を作ることができた。

画像2

楽譜が完成したらMusicXML形式でエクスポートする。
ファイル > エクスポート
ファイル名は「Kogitune.musicxnl」とした。

図1

NEUTRINOでの推定

NEUTRINO公式からOnline版のzipをダウンロードし、自分のGoogleドライブにアップロードする。

drive/My Drive/Colab Notebooks/NEUTRINO

作製したファイルをGoogleドライブにアップロードする。

drive/My Drive/Colab Notebooks/NEUTRINO/score/musicxml

NEUTRINO.ipynbを開いて4番目の章のセルを修正する。

BASENAME=Kogitune
ModelDir=ITAKO

細かいや変数についてはこちらを参照

Outputフォルダを確認するとKogitune_syn.wavとKogitune_nsf.wavが出力されている。
これで音声データは完成した。

さらに加工したい場合

今回自分はTwitterにアップロードするため、「ペイント」で静止画を作成し、「フォト」で静止画と音声をくっつけてMP4形式に変換した。
もしニコニコやyoutubeにアップロードしたい場合は、それ以上の動画編集技術が必要になってくる。
また「こぎつね」のような簡単な民謡ですら、歌詞を作ることに苦労したので、数分の曲を作ることはとても根気のいる作業になる。

AIイタコが出てからものの数時間でたくさんの曲がアップロードされていて製作者さまには感謝感謝。

いいなと思ったら応援しよう！