【Vtuber向け】Vrew(動画音声からの自動字幕抽出)及び、ゆかりねっとコネクター(生配信で自動字幕/翻訳する方法)の紹介

皆様方こんにちは、黒根こなとです。
今回は動画編集者のお悩み、字幕編集を自動化するためのツールについて紹介していきます。

1.動画編集ソフト

現在私がつかっているのはこちら、今回の紹介は主に、自動字幕についてなので、動画編集は別のソフトを使っていても大丈夫です。

DaVinci Resolve
https://www.blackmagicdesign.com/jp/products/davinciresolve/

有料版と無料版がありますが、無料版でも十分な編集能力があると思われます。なお、使い始めた理由は私が「aviutl」君を使いこなせなかったためです。

2.自動字幕抽出ソフト

下記のソフトを使うことで、動画音声から自動字幕を抽出することができます。Vrew単体で字幕を作り込んでしまうこともできますが、基本的な使い方は、各動画編集ソフト用にエクスポートして使う方法になると思います。

Vrew
https://vrew.voyagerx.com/ja/

例として、DaVinci ResolveにVrewで作成した字幕を読み込ませる方法を載せておきます。

他の形式でエクスポート> DaVinci Resolve.xml で字幕形式として出力が可能です。エクスポート形式を変えれば、主要な動画編集ソフトに読み込ませることもできます。

ただ、この手のソフトに付きまとう、読み込み精度や誤字の修正作業は発声します。とはいえ、読み込み精度は結構なものだと思いますので、滑舌つよつよ勢であればもしかしたら修正点少ないかも……。

3.自動字幕抽出ソフト

下記のソフトを使うことで、リアルタイムでの自動字幕表示が可能になります。また、自動翻訳も可能です(ただし、翻訳機能については、個人契約の翻訳サービスも使用できるようです。少し試してみて、本格的に使用する場合は支援いただくか、個人契約の翻訳サービスを使用するのがよさそうです)

ゆかりねっとコネクター | まあちゃんバザール

ボーカロイドへの音声読み替えにも使用されていますが、ボーカロイドを使用しなくても、自動字幕生成としても使用できます。

おそらく、最適の環境は、外部のスマートフォンのUDトークアプリをローカルWIFIなどでPCに取り込んで使用する形です。

このあたりは製作者様や先駆者様が詳しく説明していますので、本格的な導入を考える方は是非検索してみてください。じゃんじゃん活用事例がでてくるかと思います。
私もツイッター上で感想を呟いた際に製作者様に補足されました。それぐらい使用者の感想を集めてアップデートされているのだと思います。

ゆかりねっとコネクターを使って自動字幕で遊んでみたけど、すごい技術。特に海外向けにも発信したい人には、自動翻訳としても使えるので、いいかも。
Chrome音声認識だと速度でるんだけど、UDトーク経由だと通信の関係上速度が厳しそう。私、結構喋り続けてしまうので、常時使用は厳しそうかな……

— 黒根こなと(新人Vtuber🐾猫又探偵) (@kurone_konato) May 16, 2020

携帯端末のＵＤトークであれば　だいぶ速度は改善されます（エミュレータはどうして重たいので…）。QR接続もはやいですが、その遅れも気になるなら、携帯電話と直接ローカルWiFiでつなぐと　ほぼ遅れなく字幕をだすことができます。（たくさん話す人向けです。文章が綺麗に区切られて出てきます）

— ＊なお＊　リアルタイム字幕・翻訳ツール (@mikasa231) May 16, 2020

やや、製作者様に補足いただいておりましたか……。恐縮です。今回スマートフォンからのQR接続も試しましたが、やはり少し遅延が気になりました。
やはり直接ローカルWIFIでつなぐ必要がありそうですね……。今度その環境で試してみます！　すばらしいツールをありがとうございますm(_ _)m

— 黒根こなと(新人Vtuber🐾猫又探偵) (@kurone_konato) May 16, 2020

4.さいごに

さて、本日は動画編集、生配信に使えそうなツールを2種類紹介させていただきました。
詳しい活用方法や使用方法は、ネットの海にまかせるとして……。本記事はこんなツールあるんだ、という入り口のひとつになればと思い書きました。
皆様の活動のご助力に少しでもなれば幸いです。