AIボイスチェンジャー(AI音声生成モデル・AIボイチェン)の学習～モデルの能力を120%引き出す学習方法～

対象読者

• AIボイスチェンジャー(AI音声生成モデル・AIボイチェンの機械学習モデル)の学習を行う際にクオリティの高い音声モデルを作りたい人。

  • (BGMのような音を削除して)音声だけデータを抽出する方法については解説しません。

• 各ボイスモデルの学習方法については紹介しませんが、一般的な機械学習におけるノウハウを紹介します。

  • 一部サンプルコードを掲載しています。

---

<全体的な注意点>

質問については購入者限定で可能な範囲で回答しますが、解決をお約束できません。
プログラムのコードを参考として掲載してますが、あくまでサンプルです。

前提の話

まえおき

• ボーカル(音声だけ抽出して背景音を消す)リムーバーやボーカル抽出については以下記事を参照してください。

• 音声データは2秒～3秒程度で分割した方が良いと言われています。
  詳細は以下記事を参照してください。

まえおきが長くなりましたが、ここまで学習データを準備した状態から本記事はスタートとなります。
まず結論から申し上げると以下で紹介するような事項についてしっかりと処理をすることが、学習結果の品質に大きく影響します。

学習時のノウハウ

前処理編

音声データのノイズを処理してください

iZotope RXシリーズのスタンダードエディション以上では複数ファイルのノイズ処理が可能です。

音声データには様々なノイズがあります。例えばエアコンや空間の反響音のようなものからそもそも音割れ(音量が大きすぎてガビガビ)しているのを直すことも可能です。唯一の欠点は有料アプリであるということです。
無料で代替できる製品を私は知りませんが、探せばあるとは思います。ただし、ノイズ除去の品質が悪かったり、機械学習モデルを使用したものとなるので使用するのに技術スキルが必要という意味でのハードルが高いと思います。