ライブ動画に字幕を入れる（改）

ゆかりねっとコネクターをつかって、配信動画にリアルタイム字幕をいれるための手法を改めて解説します。増えた機能をメインに紹介しますね。

※情報に整合が取れてない、とご連絡をいただいたので加筆しました。
　下記の内容は、v3.2a36 を基準にしてます。　(9/17 PM 8)

１．簡単なのは、ウィンドウキャプチャ―

だいたいどんな配信ソフトでも使えるのが、ウィンドウキャプチャ―機能でしょう。これは簡単。背反は負荷が少しかかるのと、文字がすこしぼやける点でしょうか。

２．OBS連携

OBS Studio の場合、WebSocket経由での流し込みが簡単です。
（しかしながら、 OBS v25の場合は、ちょっと苦戦します）

OBS WebSocket をいれて、設定をしましょう。

そして、その準備ができたら、ゆかりねっとコネクターをつなぎましょう。

あとは、音声をいれれば、OBSのテキストソースに文字が入ります。

なお、支援者向けの追加機能としては、追加で3種類の翻訳ができるようになっています。

StreamLabs OSBや、N-Air の場合は、WebSocketはつかえません。その代わりに、ブラウザ機能を使います。

VR用に作った機能ではありますが、配信ソフトでもつかえます。
上記のアドレスを打ち込んで、定期更新してください。

まぁ、これもまた、ウィンドウ取り込みと同じ課題は抱えています。

4.ファイル取り込み

もうちょっときれいに文字だしたいよね…という場合につかうのが、ファイル取り込み機能。

この設定をONにしてもらうと、リアルタイムでファイルに書き込みます。このファイルを経由して画面に出してもらう感じになります。

ファイル名と、対応する中身は下記のとおりです。

caption_org.txt ：母国語
caption_yomi.txt ：母国語（よみ）
caption_trans1.txt ：翻訳文　１
caption_trans2.txt ：翻訳文　追加翻訳２
caption_trans3.txt ：翻訳文　追加翻訳３
caption_trans4.txt ：翻訳文　追加翻訳４
caption_Collabo_org1.txt : コラボ配信　ユーザ１　母国語
caption_Collabo_org2.txt : コラボ配信　ユーザ２　母国語
caption_Collabo_org3.txt : コラボ配信　ユーザ３　母国語
caption_Collabo_org4.txt : コラボ配信　ユーザ４　母国語
caption_Collabo_trans1.txt : コラボ配信　ユーザ１　翻訳語
caption_Collabo_trans2.txt : コラボ配信　ユーザ２　翻訳語
caption_Collabo_trans3.txt : コラボ配信　ユーザ３　翻訳語
caption_Collabo_trans4.txt : コラボ配信　ユーザ４　翻訳語

ファイル名は、母国語、よみがな、翻訳文１＋追加翻訳３の合計６つ。
（絵だと１～６ってかいてありますが、これはtypoですね…）

たとえば、StreamLabs OBSでしたら、こんな感じ。

負荷を高めないコツとしては、書き込み先がOneDrive上にならないように場所を設定する感じでしょうか。（書き込むたびにクラウドにファイルを送ろうとするので、負荷があがります）

なお、この4の手法と3の手法を掛け合わせると、Xsplitに対応ができるようになります。つまり、このファイルをHTTP経由で読み込むってやつです。
この方法であれば、XSplit Broadcasterでもきれいな文字がだせます。

ちなみに、多言語翻訳の機能もつかえます。この場合、OBSのソース選択は空欄のままでOKです。チェックを打って言語を選んだあとに、上記のアドレスにアクセスすればいいということになります。

Xsplitの表示部品画面で、テキストを追加したあと、プロパティ画面内のカスタムスクリプトにチェックを打って、編集ボタンをおせば、上と同じウィンドウがでてきます。

その画面でhttp://127.0.0.1:15520/caption_org.txt　という感じで打ち込めばOK。翻訳なら、caption_tran1.txt～caption_tran4.txtという名前になります。

URLは下記の通りになります。

http://localhost:15520/caption_org.txt ：母国語
http://localhost:15520/caption_yomi.txt ：母国語（よみ）
http://localhost:15520/caption_trans1.txt ：翻訳文　１
http://localhost:15520/caption_trans2.txt ：翻訳文　追加翻訳２
http://localhost:15520/caption_trans3.txt ：翻訳文　追加翻訳３
http://localhost:15520/caption_trans4.txt ：翻訳文　追加翻訳４
http://localhost:15520/caption_Collabo_org1.txt : コラボ配信　ユーザ１　母国語
http://localhost:15520/caption_Collabo_org2.txt : コラボ配信　ユーザ２　母国語
http://localhost:15520/caption_Collabo_org3.txt : コラボ配信　ユーザ３　母国語
http://localhost:15520/caption_Collabo_org4.txt : コラボ配信　ユーザ４　母国語
http://localhost:15520/caption_Collabo_trans1.txt : コラボ配信　ユーザ１　翻訳語
http://localhost:15520/caption_Collabo_trans2.txt : コラボ配信　ユーザ２　翻訳語
http://localhost:15520/caption_Collabo_trans3.txt : コラボ配信　ユーザ３　翻訳語
http://localhost:15520/caption_Collabo_trans4.txt : コラボ配信　ユーザ４　翻訳語

ファイルや通信を挟むことでちょっとした遅れは発生しますが、かなり応用ができるようになりました。

なお、ＵＤトークをつかっているときは、母国語のテキストが吐きだせないことに注意してください。（契約の関係があるので・・・すみません）

まとめ

画像をそのままスキャンするより文字をきれいに出したい！とか、2か国語以上の翻訳がやりたい！とか…いろんなニーズにこたえるための方法をご用意してきました。

手段が多い分、なかなかわかりにくい所もでてきていますが、「自分の目的が満たせる機能」だけを使えばよいので、ぜひ簡単なところから、トライしてみてください。