AIリアルタイムボイスチェンジャーMMVC_東北きりたん編(2023/10/20アップデートに対する注意事項)

2023年10月21日 17:16

こんにちは。ピポッです。
AIリアルタイムボイスチェンジャーである
I'mずんだもん王への道_MMVCの導入講座動画を作った者です。

2023年10月20日に、MMVC東北きりたんが正式リリースされました。
同時に、MMVCのアップデートも行われています。
上記2点に伴い、MMVC導入における注意事項が新たに発生しました。
当記事では『東北きりたん編』として、
・『東北きりたん』になる方法
・2023年10月20日以降の注意事項※
(※東北きりたん以外の場合も影響します)
の2点を解説します。

v1.3(2023年10月20日時点ではmain)とv1.5(SiFiGAN)では
いくつか手順が異なりますが、東北きりたんおよび今回のアップデート
においてはほぼ同じ手順になります。
何より東北きりたん・アップデートで
v1.3とv1.5の話者IDがほとんど同一になります。
よって、v1.3、v1.5まとめて解説します。
差異がある箇所のみ差分を記述します。

『東北きりたん』になる方法

結論から言うと『春日部つむぎ編』とほぼ同じです。
違う点を挙げるなら
・準備編における、キャラクター音声ダウンロードを
『春日部つむぎ　音声データ』から
『東北きりたん　音声データ』に変える
・character_selectの番号などで指している
『春日部つむぎ』の話者IDを、全て
『東北きりたんの話者IDである106に変更する』
※v1.3,v1.5ともに106にする。
以上です。
詳細な手順については『春日部つむぎ編』と同様になるため
そちらを確認していただきたいのですが、
その前に当記事における『2023年10月20日以降の注意事項』を
必ず確認して下さい。
特にv1.3に関しては確認必須の変更点が存在します。

上記の『東北きりたん』になる方法で、
話者IDをv1.3、v1.5ともに106にすると書きました。
『v1.3とv1.5では話者IDはズレているのでは？』
という話がありますが、これが2023年10月20日以降における注意事項の1つと関係します。

2023年10月20日以降の注意事項

注意事項は2つあります。片方はv1.3に対して強く影響しますが、
もう片方はv1.3、v1.5両方で関係します。

注意事項1：話者IDがv1.5とv1.3でほぼ同等になる＝v1.3の話者IDが全部ズレる

特にv1.3で非常に大きな注意事項になります。
2023年10月19日までの
既存の解説動画・解説記事（作者のnote含む）で述べていた
v1.3に対する話者IDが全部ズレます。
ついでに話者IDの上限も変わってます(v1.3のみ)。

具体的に言うと、話者IDはそれぞれ下記のようになります。
▼2023年10月19日までのv1.3の話者ID
107：自分
100：ずんだもん
101：九州そら
102：四国めたん
103：春日部つむぎ
104, 105, 106, 108, 109：空き番号(108は非サポート音声向けID)
話者IDの上限：109（0から109の、110種類の話者ID）

▼2023年10月20日以降のv1.3の話者ID(今後はこのIDを使う)
0：自分
101：ずんだもん
102：九州そら
103：四国めたん
104：春日部つむぎ
106：東北きりたん
107から254まで：空き番号(107は非サポート音声向けID)
話者IDの上限：254（0から254の、255種類の話者ID）

このように、2023年10月20日以降は
0が自分の声の話者IDに変わったため
それぞれ1番ずつ話者IDがズレました。
ついでに話者ID上限が254になっています。

なお、v1.5は下記のような話者IDです
▼2023年10月20日以降のv1.5の話者ID
0：自分
101：ずんだもん
102：九州そら
103：四国めたん
104：春日部つむぎ
105：刻鳴時雨
106：東北きりたん
107から254まで：空き番号（107は非サポート音声向けID）
話者IDの上限：254（0から254の、255種類の話者ID）

v1.5は最初から
「0が自分の話者ID」「101以降からキャラの話者ID」です。
2023年10月20日以降は「106が東北きりたんの話者ID」が
追加されただけで、ほとんど変わりません。

「▼2023年10月20日以降のv1.3の話者ID」と
「▼2023年10月20日以降のv1.5の話者ID」の通り、
話者IDがv1.3とv1.5でほぼ同等になります。
(差異は「v1.5のみ105に刻鳴時雨さんが入る」のみです)
v1.3, v1.5で話者IDが揃えられたのです。

v1.5であれば、2023年10月20日前後での差異は
「106が空き番号である／東北きりたんのIDである」
のみです。
しかし、v1.3においては全部の話者IDがズレた事になります。
この注意事項で大きな点は
今までの導入講座で記述されている話者IDの説明が軒並みズレる
という所です。
2023年10月19日までの既存の導入講座（動画・記事）を参考にする場合、
v1.3(main)であれば、例えば
全ての『自分のID』は『0にする』
全ての『ずんだもんのID』は『101にする』
と読み替えなければいけません。
これが注意事項1です。

注意事項2：2023年10月19日以前の学習データは流用不可(※音声ファイルは使い回せる)

こちらはv1.3、v1.5両方の注意事項です。
これから新たにMMVCを始める方には影響しません。
既にMMVCを使っており、
既存の学習データ(G_best.pthとか)を持っている方が関係します。

結論として、
2023年10月19日までの学習結果(G,D_99999999.pth等)は、
2023年10月20日以降のMMVCに引き継ぐことが不可能です。
2023年10月20日以降のv1.3(v1.3.2.8以降)と、
それより前(v1.3.2.7以前)は互換性がありません。
2023年10月20日以降のv1.5(v1.5.0.0以降)と、
それより前(v1.5.0.0EA28以前)は互換性がありません。
改めて、新しくMMVCの機械学習を始める必要があります。

なお、音声データは今でも同じ形式(24kHz,モノラル1ch, 16bit)なので
使い回せます。再録音の必要は無いのでご安心ください。
ただしconfigファイルは使いまわせません。

まとめると
・学習データ(G,D_99999999.pth)：使い回せない
・音声データ(と、v1.3ならテキストデータ）：使い回せる
・configファイル(configフォルダ内ファイルや、filelistsフォルダ内ファイル）：使い回せない
です。
データを使いまわせない、という注意事項のため、
これから新たにMMVCを始める方には影響しません。

以下は補足事項になります。
『学習データの流用』という物は、MMVCでバージョンが変わった際に
『過去バージョンから現在バージョンに、学習結果を引き継げる』
事を指します。
例えば、MMVC_v1.3_v1.3.2.4-v1.3.2.7であれば互換性がありました。
v1.3.2.7に変更しても、ある手順を踏めば
(v1.3.2.4での学習データG,D_99999999.pthをv1.3.2.7の
fine_modelフォルダに置く、v1.3.2.7の学習『開始』時に
先述のv1.3.2.4のG,D_99999999.pthを指定して学習開始する)
学習結果を引き継いで機械学習を始めることができる、
といった事ができました。
この手順は今回使用不可です(v1.3, v1.5両方)。

学習データ引き継ぎ不可の背景を説明します。
この注意事項は、MMVC東北きりたんのアップデートに伴う
モデルの軽量化が影響しています。
モデルの軽量化の為に(v1.3については合わせて話者ID上限変更も伴い)、
configファイルのパラメータが一部変わっています。
パラメータが変わった事でモデルの内部が一部変わっており、
これによって学習データも変わりました。
学習データの内部が2023年10月20日を境に変わっているため、
学習データの流用が不可能になった、という事です。

以上のような背景があり、かつ音声データ周辺は不変のため
・学習データ(G,D_99999999.pth)：使い回せない
・音声データ(と、v1.3ならテキストデータ）：使い回せる
・configファイル(configフォルダ内ファイルや、filelistsフォルダ内ファイル）：使い回せない
という事になりました。
これが注意事項2です。

東北きりたん編(注意事項)まとめ

『東北きりたん』になる方法
　→春日部つむぎ編を参考にする。
ただし話者IDはv1.3, v1.5ともに106にする。
2023年10月20日以降の注意事項
・v1.3は話者IDがズレる。自分の声は0、ずんだもん以降は101……
　になる。既存講座を参考にする場合は注意。
　いずれにせよ『東北きりたん』は『106』である。
・学習データの引き継ぎは不可。音声データは使い回せる。
　これから新たにMMVCを始める方には影響しない。

最後に(開発者支援)

開発者である天王洲アイルさん(@IsleTennos)は
PIXIV FANBOXを開設しています。
有料プランもあるため、資金の支援が可能です。
MMVC開発を支援したい方は是非支援をお願いします。
無料プランでMMVC開発状況も書く（らしい）ため、
リンク先を登録しておくと便利だと思います。
FANBOXは下記URLになります。

公式サポート音声募集中

MMVC公式サポート音源は常時募集中です(FAQより)。
ご自身の声をMMVC公式サポート音源にしたい場合は、
開発者である天王洲アイルさんのTwitterか
MMVC DiscordサーバーのIsleTennos#5740(天王洲アイルさん)に
DMにてお問合せください。

MMVCで分からない事があったら(FANBOXで質問)

不明点はMMVCのDiscordサーバーで質問可能ですが、
それとは別の質問用窓口が作成されました。
下記の、MMVC開発者天王洲アイルさんのpixivFAOBOXにて質問可能です。
MMVC関係で分からないことがあり、
Discordに入る事が難しい、質問しにくい、といった場合は
『MMVCに関する開発者に問い合わせ』にて質問してみてください。