YMMであいうえお口パクした～い！
こんにちは！いぬいぬです！
みなさん、YMM（ゆっくりムービーメーカー）って知ってますか？
元々は「ゆっくり動画」向けのソフトなんですが、これがCeVIOトークをはじめとした、音声合成ソフトの動画作成にめちゃくちゃ便利なんです！
いぬいぬはこのソフトをメインに使ってます！
実はカバー楽曲のMV制作にも使ってたり…
最近波形表示にも対応したりして、モンノすごいんですが、1つだけ欠点があるんですよね…。
それはあいうえおの口パク（リップシンク）に対応していないこと。
音量に合わせた口パクなら自動でやってくれるんですけどね～。
YMM4でもあいうえお口パクしたいよね
あいうえお口パクは無いと、ソングのMVだと目立つんですよね～。
「い～～～」って歌う所で「あ～～」の口の形だとすごい違和感。
短いトークだと無くても気にならないこともあるんですが。
普通はこれがやりたいときはAviutl+PSDToolkitの組み合わせをつかうんですが、YMM4でもやりたいな～～～～って思いませんか？奥さん！
YMM4でやるには？
一応できます。しかも、仕組みは簡単です。
YMM4の「表情アイテム」を音に合わせて置いていくだけです。
たとえば「a」の音ならこんな感じ。
「o」の音ならこんな感じ。
こんな感じで並べていくだけ！チョー簡単！
…なわけねーだろ！全部になんかやってられっか！！！！！！
手動でやったら死ねる
ひとつふたつならなんとか頑張ればできますよね。
でも、たくさんあると死。
トークだろうとソングだろうとあいうえおの口の形に合わせて、ぜんぶ並べていくなんて苦行です。
そもそもどういうタイミングでどの音なのか、耳で聞いてくの？って問題もあります。
タイミング情報ファイル(.lab)を使おう！
この「どういうタイミングでどの音なの」を教えてくれるすごいファイルがあります。それが「タイミング情報ファイル(.lab)」。
うおおお！神様仏様labファイル様！
CeVIOだとトークもソングも出力に対応してますし、トークの場合は外部連携インターフェイスから情報をとることもできます。
PSDToolkitのあいうえお口パク機能もこのlabファイルのタイミング情報を使ったものです。最近は他のソフトでも出力できるソフトが増えてきました。
※ちなみにいぬいぬが前に作った「NodoAme」はこの情報も使ってトーク→ソング変換をしてます。
なので、このファイルを使って機械的に並べればいいんです！
で、やってみたのがこちら。
自作ツール制作中
実は結構前から、タイミング情報ファイルをつかってYMM4であいうえお口パクできるようにしてました。
たとえばこの動画の口パクはツールで並べてます。英語の歌でもいけます。
でも自分で使う用なんでめちゃくちゃ使いにくかったのと、手抜きでソング用だったんですよね…。
なので、トークでも使えるように自作ツールを作り直してます。
トーク用の動画の場合はキャラがいっぱいいるので、それぞれのキャラの口パク設定がいるんですよね。なのでツールでキャラの立ち絵ごとに設定できるようにします。
それとセリフがたくさんあるんで、そのセリフのタイミングに合わせて表情アイテムを並べる必要があるんですよね。それもやる予定です。
あとYMM4の特徴として、トークソフトとAPI連携してその場でセリフ音声を生成しながら編集できる、ってのがあります。これにも対応しないとYMM4向けとは言えないのでこれも対応予定です。
まて続報
まだ機能が足りてないのでもう少し先になると思いますが公開予定です。
リクエストがあれば試しに使ってもらうこともできるかも？
そういえばYMM4、PSD形式の立ち絵に対応するらしいですね…。
うーんこれが公開されたらちょっとやり方を変えないといけないです！
実装中... https://t.co/5fKOZC9sFo pic.twitter.com/3zpnNtMeDB
— 饅頭遣い＠YMM4正式版🎉 (@manju_summoner) April 29, 2022
追記：とりあえず公開
カスタムボイスだけですがとりあえず公開しました。
詳しい説明動画とか、API経由のボイスアイテムに対応とかはもうすこしまってください！
さらに追記：CeVIOのAPI経由のボイスアイテムに対応しました
まだまだ試験的な公開なんで、使うときはバックアップ忘れずに！