AIを使って、フィリピンVチューバーVirgilちゃんの動画を翻訳してみた

AI…なんて便利なんだ…

事の発端は、writeout.aiを使っていたのだがなぜかエラーが発生するようになり、それなら自分でやってみるかだった。

VRChatで外国人と対話した時の動画
writeout.aiを利用するとなぜかエラーが出る。一体何が悪かったのだろうか。

文字起こしはWhisperを使って、翻訳はDeepLを使った。
ChatGPTでなくDeepLを使ったのは文字起こしの出力をsrtファイルにしたため、元の書式を崩してほしくなかったからである。

WhisperはOpenAI APIのWhisperを使った。
最初は、タイのVTuberドラキ・コナで試したのだがタイ語は厳しいのか文字起こしが十分にできなかった。
英語なら精度が高いため、英語を話すフィリピンVTuberのVirgilちゃんならいけるだろうと試したところうまくいった。

うまくいかなかったタイのVチューバーDraki Kona
タイ語は厳しいのか…？

Whisperで不思議なのは、英語以外の言語が入っていても英語に翻訳されるところだ。translateの指定を入れていないのに勝手に翻訳される。
おかげでVirgilちゃんのタガログ語が翻訳できている。地味にすごい。

タガログ語を話しているVirgilちゃん

翻訳はDeepLを使った。
理由は先述の通り。なかなかいい翻訳をしてくれる。
見てて普通に意味がわかる。

DeepLで翻訳した結果をつなぎ合わせてsrtファイルを作り、それをもとに動画に字幕を焼き付けたのが下記の動画だ。
なかなかいいのではなかろうか。

フィリピンVTuberのVirgilちゃんをWhisperで文字起こしして、DeepLで翻訳した。結構翻訳できてる。Whisper英語だと精度高いので(なぜかタガログ語まで翻訳できてる)英語+翻訳はこれでいけるかもね。

Transcribe using whisper, translated by DeepL#Moticlipped pic.twitter.com/OLh3aX4QTf

— まー4️⃣7️⃣3️⃣9️⃣ (@mkit2023) March 17, 2023

ほんの思いつきで簡単にできてしまったので、偉い人が作れば動画の翻訳アプリは簡単に作れるだろう。
個人的にはリアルタイム翻訳を目指してほしいがAPIだと時間がかかるためリアルタイムは厳しそうである。
モデルを自前で持てばワンチャンあるかもしれない。

YouTubeの配信やビデオ会議などリアルタイムで翻訳して閲覧したり会話できる日が来るのもそう遠くないのかもしれない。
言語の壁を超える日が来るのかも。

関係ないけど、タガログ語ってインドネシア語にめっちゃ似てるね

カパンパンガン。フィリピンの言語らしい