ライブ配信でリアルタイムに多言語テロップ（字幕）を入れる方法

こんにちは、VTuberの拝師ねるです。
今日は、ライブ配信でリアルタイムに多言語テロップ（字幕）を入れる方法を記します。

概要

僕が試した方法の中で、一番精度が高かったものは、
【ゆかりねっとコネクターNeo＋UDトーク＋DeepLのAPI翻訳＋OBS連携】
です。

流れを説明すると、

自分の声を「UDトーク」が文字に変換
↓↓↓
その文字を「ゆかりねっとコネクターNeo」が認識
↓↓↓
「DeepL」のAPIを消費して自動翻訳
↓↓↓
その文字を「ゆかりねっとコネクターNeo」が認識
↓↓↓
「OBS Studio」と連携させて配信画面にのせる

といった流れになります。

ゆかりねっとコネクターNeoについて

まず、コアとなるのが「ゆかりねっとコネクターNeo」になります。
まずはこれをインストールしましょう。

・ゆかりねっとコネクターNeo公式サイト：
https://nmori.github.io/yncneo-Docs/

TOP - ゆかコネ｜リアルタイム字幕・翻訳・連携ツール

※安定版をダウンロードしてください
※「ゆかりねっと」と「ゆかりねっとコネクター」は別物です。

「ゆかりねっとコネクターNeo」の設定は公式のチートシートが分かりやすいです。https://nmori.github.io/yncneo-Docs/cs/cs_en/

最速で英語翻訳をだす - ゆかコネ｜リアルタイム字幕・翻訳・連携ツール

OBSとの連携についてのチートシートは以下。
https://nmori.github.io/yncneo-Docs/cs/cs_obs/

OBS Studioできれいに出す - ゆかコネ｜リアルタイム字幕・翻訳・連携ツール

※OBSのバージョンはv28以降が必要になります。
※OBSのアップデートは「ヘルプ」から「更新を確認」で行えます。

これだけでも多言語のテロップを出すことは出来ますが、音声認識の精度、そして翻訳の精度を上げるための設定が以下になります。

UDトークについて

音声認識の精度を高めるためには「UDトーク」というアプリを使用します。
パソコンだけで完結したい場合は、スマホアプリをPCで動かすためのエミュレーターが必要になります。
軽いAndroidエミュレーターとして有名な「LDPlayer9」があります。
LDPlayer9：https://jp.ldplayer.net/

LDPlayer - PCでスマホゲーム、無料のAndroidエミュレータゲームソフト

スマホを使用することで、PCの負荷を下げることもできます。
UDトーク：https://udtalk.jp/

UDトーク

「UDトーク」と「ゆかりねっとコネクターNeo」の連携はこちら
https://machanbazaar.com/%EF%BD%95%EF%BD%84%E3%83%88%E3%83%BC%E3%82%AF%E3%81%A8%E3%81%A4%E3%81%AA%E3%81%90/

ＵＤトークとつなぐ | まあちゃんバザール

※UDトークが重い場合や、レスポンスが悪いと感じる場合は、音声認識システムを「ゆかりねっとコネクターNeo」内の「ブラウザ」を使うことで、レスポンスは早くなります。

翻訳APIについて

翻訳の文字量を増やす、精度を高めるには、各社のAPIサービスが必要になります。
google翻訳とかMicrosoft翻訳とかAmazon翻訳とかいろいろあります。
精度が高くて有名なのが「DeepLのAPI翻訳」です。無料プランでも500,000文字／月、使えます。
DeepLのAPI翻訳：https://www.deepl.com/ja/pro-api?cta=header-pro-api/

DeepLのAPI翻訳 | 機械翻訳のテクノロジー

※無料プランへの登録でも本人確認としてクレジットカードが必要になります。

もっと簡単にAPIを使う方法として、ゆかりねっとコネクター制作者様のファンボックスに支援する方法があります。
https://nao.fanbox.cc/

なお｜pixivFANBOX

月額200円～利用できます。
月額1,000円～「DeepLのAPI翻訳」も使えます。

最適なフォント

「ゆかりねっとコネクターNeo」と「OBS Studio」を連携させると、フォントの設定はOBS側で行うことになります。
つまり、PCに入っているフォントは全て使えます。
フォントで配信の印象はかなり変わってくるので、オススメのフォントを書いておきます。

日本語フォント

僕が動画とかサムネでもよく使っているのが「ラノベPOP V2」です！
無料で使えて、商用利用などもOKです（必ずご自身で規約をご確認ください）
ラノベポップ：http://www.fontna.com/blog/1706/

ラノベPOPフォントのフリーフォントダウンロード | フォントなラノベPOPフォントのフリーフォントダウンロード

英語フォント

ウェブサイトにもよく使われており、海外の方が見慣れている、そして視認性の高い英語フォントが「Segoe UI Bold」です！
Windowsには標準装備されていたはずです。

中国語フォント

中国語は対応したフォントに設定しておかないと、変な漢字になったり、うまく表示されなかったりしてしまいます。
こちらもWindowsに標準装備されている中国語対応のフォントをご紹介しておきます。

簡体字中国語（主な使用地域は中国、シンガポール、マレーシアです）
Microsoft YaHei Bold

繁体字中国語（主な使用地域は台湾、香港、マカオです）
Microsoft JhengHei

その他機能

これでライブ配信でリアルタイムにテロップ（字幕）を多言語で入れることができます！

「ゆかりねっとコネクターNeo」は、「わんコメ」や「コメジェネ」と連携させてコメントの翻訳なんかもできます。
「辞書プラグイン」を使うことで、「拝師ねる」といった普通は変換できない単語も表示させることができます。
多機能なのでいろいろ試してみてください。

ご自身の目的に合った使い方を探してみてくださいね。

さあ、世界進出の準備ができました！まってろよ世界！
VTuberの拝師ねるでした！

実際に多言語テロップ入れたライブ配信

おまけ

僕が配信で使っているマイクはこちら！
Amazonリンク：https://amzn.to/3YMAPSR

RODE Microphones ロードマイクロフォンズ NT3 コンデンサーマイク NT3

コンデンサーマイクを使うことで、音質が劇的に良くなります！

コンデンサーマイクは、ファンタム電源が必要です。対応したオーディオインターフェイスを使う必要があります。
僕が使っているオーディオインターフェイスはこちら！
Amazonリンク：https://amzn.to/3LoOHzF

Steinberg スタインバーグ USB2.0 24bit/192kHz オーディオインターフェース UR12