【AIは面白い】動画の背景音を削除して話している声だけを抽出する【fast-music-remover】
保育園、幼稚園、小学校の先生は、運動会、文化祭、などで、子どもたちを動画撮影したとき、背景に著作権が存在する楽曲が流れていることがあるのではないでしょうか？写真やちょっとした動画を提供したり、販売したりするのに、楽曲が入っていると提供できないか、ライセンス料の支払いが必要となり、現実的ではありません。また卒園式、卒業式までに子どもの肖像動画として夢を語ったりする動画を撮影することはありますでしょうか？その時の背景音、ノイズ、雑音も気になるところです。
fast-music-remover は、話している声を抽出してくれるライブラリになります。パソコンに docker が入っていれば、簡単に利用環境が構築できます。
ローカルに開発用サーバーが起動し、http://127.0.0.1:8080 でアクセスできる環境ができます。ブラウザでアクセス後の画面が下図になります。
入力フィールドとしては３つあります。動画のURLを入力するテキストボックス、ローカルの動画ファイルをアップロードするドラッグ領域（クリックするとファイル選択用にエクスプローラが起動します）、最後に声を抽出するProcess Media ボタンになります。動画のURL欄のplaceholderにYouTubeのURLが初期値として入っているので、YouTubeがオススメでしょうか。
YouTuberの報告動画で背景音入りのものを試してみると、背景音がきれいに消えており、報告内容の声だけが抽出されていました。微妙に背景音が一瞬あらわれたりとした感じですが、私が今まで検証した中では高品質ではないでしょうか。
この fast-music-remover では、deepfilternetを使っているということですので、deepfilternet単体での機能も別途調査してみたいと思っています。
他の動画ファイルを試した結果、運動会のリレーでアーティストの楽曲と応援の声が入っていたものは、楽曲も応援の声も消えていました。
アーティストのミュージックビデオで試した結果、楽曲は消えて、ボーカルの声だけが残っていましたが、歌声が結構削られていました。
ボーカルと楽器の音を分割するライブラリを使った方が、きれいにボーカルを抽出できるような気がします。
肖像動画、インタビュー、などの動画の背景音、ノイズを消すことに特化して考えると、これは運用に利用できる可能性があるのではと思いました。
今年最後の投稿をこれで終わりたいと思います。
お読みくださり、ありがとうございました。
来年もよろしくお願いいたします。
サマークラウド株式会社の情報はこちらまで。
https://summercloud.jp