見出し画像

AIリアルタイムボイスチェンジャーMMVC_v1.5_導入講座_リアルタイム編B_VCClientで実行

注意(2023年10月21日):話者IDが2023年10月20日を境に変更されました。
特にv1.3については話者ID
(自分の声やずんだもんの声に対する番号、107とか100とか)
が変更されています。
記事の話者IDは一部古いため、
変更内容と対応方法はこちらをご確認願います。

講座記事一覧 最初と編まとめ
前回:リアルタイム編A_MMVC_Clientで実行 次回:春日部つむぎ編_公式サポート組を使用

こんにちは。ピポッです。
AIリアルタイムボイスチェンジャーである
I'mずんだもん王への道_MMVCの導入講座動画を作っている者です。

当記事では『リアルタイム編B_VCClientで実行』として、
VCClientというボイスチェンジャーソフトを使用した
リアルタイムVC(ボイスチェンジ)までの手順を説明します。

変換音声をDiscord等のソフトに「入力」にする方法
変換速度を上げる・品質を上げるパラメータ調整
については、既にリアルタイム編A_MMVC_Clientで実行
で話しており、ほぼ重複するため、
使用方法(設定方法)での差異のみ記述します。

なお、『確認編』の
『学習結果をONNXファイルに変換する(v1.5)』
『MMVC_Client_v0.5.0.0の入手と展開』
『音声デバイスの取得』
『非リアルタイム用にmyprofile.conf編集(Client_v0.5)』
を実行している事を前提とします。
未実行の方は、先に『確認編』の試行をお願いします。

v1.3の場合は
『学習結果をONNXファイルに変換する(v1.3)』
『MMVC_Client_v0.3.1.0の入手と展開』
『音声デバイスの取得』
『非リアルタイム用にmyprofile.conf編集(Client_v0.3)』
を実行している事を前提とします。

やることは
『必要ファイルを導入する』
『リアルタイムVCする』

です。

ほとんどの部分は同じですが、
MMVC_Trainer_v1.5とv1.3で一部異なるため、
差異のある場所はバージョンを分けて説明します。
差異が無い場合、同一の処理とみて進めてください。


必要ファイルを導入する

必要な物はボイチェンソフトである『VCClient』に加え、
VCClient実行のために『CUDA 11.6』と『cuDNN8.5.0.96』が必要になります(※)
なお、『CUDA』と『cuDNN』はNVIDIA GPUのあるPC限定で使います。
AMD GPUの方や、GPUの無い方は
『CUDA』『cuDNN』の項目を飛ばしてください。

(※)2023年05月29日時点の場合。
CUDA, cuDNNのバージョンはVCClient_v.1.5.3.3bに合わせた物です。
VCClientの更新などで、今度導入の必要なCUDA, cuDNNのバージョンが変わる事があります。

バージョンが別だと動かない事もある
(より高いバージョンが低いバージョンにも対応するとは限らない)
ので、注意してください。


CUDA 11.6のインストール

先にCUDA, cuDNNの入手・インストールを行います。
2023年05月29日、記事執筆時点では
CUDA 11.6, cuDNN8.5.0.96がVCClientに対応するため

こちらを入手します。

まず、下記URLに移動します。

移動するとLinux, Windowsとあるので
自身の使用しているパソコンのOSの方を押します。

CUDAのダウンロード先。自分のパソコンの方を押す。

押すとさらに選択肢が出ます。
こちらも自身のパソコンに一致するアーカイブ・バージョン等を選びます。

CUDAのダウンロード。Windowsを押した場合。
Windowsの場合はArchitectureが1つで固定、
Versionについては10,11などがあるため、対応するWindowsバージョンを選ぶ。

『Install Type』は『exe(local)』を選択してください。

CUDAのダウンロード。Version選択後。
Install Typeが出てくるので、『exe(local)』を選ぶ。

ここまで選ぶと、ファイルのダウンロードボタンが表れます。
ボタンを押してダウンロードしてください。
容量がGB単位と大きいため、残り容量にご注意ください。

CUDAのダウンロード。ここまでの選択肢で対応したファイルが表示される。
『Download』を押してダウンロードする。
CUDAインストール用ファイルを『名前を付けて保存』。
実行できる場所に保存する。

保存したらエクスプローラーに移動し、
先程保存した『cuda_11.6.0.exe』を実行してください。

ダウンロードした.exeファイルを実行して CUDAをインストールする。

実行すると、最初に『CUDA Setup Package』と出ます。
インストール用のファイルを一時的に展開する場所を指します。
そのまま『OK』を押してください。

CUDAのインストール。『CUDA Setup Package』 そのまま『OK』を押す。

『OK』を押すと展開中の画面になるため、完了して
自動で画面が消えるまで待ってください。

CUDAのインストール。ファイル展開中。
100%になると自動で消えて次の画面が表れる。 完了して変わるのを待つ。

完了すると画面が消え、次に画面中央に
『NVIDIA CUDA バージョン 11.6』と表示されます。
そのまま少しするとシステムチェックが行われ、
インストール可能かどうか調べます。
システムに問題が無ければ『使用許諾契約書』の画面に変わります。
問題が無ければ『同意して続行する』を押してください。

CUDAのインストール。『NVIDIA CUDA バージョン 11.6』


CUDAのインストール。システムチェック後の『使用許諾契約書』
契約内容を読み、問題がなければ『同意して実行する』

次に『オプション』画面に変わります。
『高速』を選んだ状態で、『次へ』を押してください。

CUDAのインストール。オプション画面。
『高速』を選んだ状態で『次へ』を押す。

『次へ』を押すとインストールが始まります。
完了するまで待ちます。

CUDAのインストール中。

インストール後、次に述べる画面が出なければ問題ありません。

『CUDA Toolkit installation warning』画面が表れ
『The NVIDIA Installer needs to add a path to the %PATH% environment variable;
however, doing so would exeed the maximum length possible for this variable.』
という文面と、コピーできるテキスト部分が発生した場合、
テキスト部分をコピー・テキストファイルに保存しておいてください。
各パソコンにおける環境変数のうち、
PATHにテキスト部分を書き込み・保存してください
(環境変数に関しては後述します)。

CUDAのインストール、warningが発生した場合。
環境変数のPATHを登録しようとしたが、
既に登録してあるPATHが長すぎて 追加できなかった、
という事が書かれている。
環境変数のPATHを整理して表示されているテキストを
PATHに記入しないと、後々エラーが発生する。

パソコンの環境変数PATHを整理して、表示されている内容を登録する必要がある。

『CUDA Toolkit installation warning』が出なければ
(出た場合はテキストをコピーした後に『次へ』を押して)、
インストール後の内容が色々表示されるため『次へ』を押します。
最後に『NVIDIA インストーラが終了しました』と出たら
インストール完了です。『閉じる』を押してください。

CUDA インストール完了。終了したら『閉じる』。

インストール完了後は、先程ダウンロードした
『cuda_11.6.0_.exe』は不要になりますので、削除しても構いません。


cuDNN:アカウント登録

VCClientの場合、cuDNNはCUDAとセットで必要になります。
バージョンの一致も重要になるためご注意ください。
(指定バージョンより高い・低いと動かない事がある)
2023年05月29日(記事執筆時点)では
VCClient:v.1.5.3.3bに対し
CUDA:11.6
cuDNN:cuDNN8.5.0.96

が必要になります。

cuDNNの入手にはNVIDIAの開発者プログラムのアカウント
(NVIDIA Developer Program Membership)
が必要になります。
作成・登録・cuDNNの入手は無料です。
アカウント作成から順を追って説明します。

まず、以下のURLからcuDNNのサイトに移動します。

移動すると『Download cuDNN』とありますので、
このボタンを押してください。

cuDNNのダウンロードサイト。

ログインしていない場合、
『NVIDIA Developer Program Membership Required』
とメンバーシップ登録が必要という画面になります。
『Learn More』を押してください。

『NVIDIA Developer Program Membership Required』
ログインしていないと、メンバーシップ登録が必要
といった内容の画面に移動する。
メンバーシップ登録画面には『Learn more』から移動できる。

『Learn more』から移動すると
『NVIDIA Developer Program』に移動します。
『Join the NVIDIA Developer Program』を押してください。

『NVIDIA Developer Program』画面。
『Join the NVIDIA Developer Program』から登録する。

移動すると『Log in or sign up for an NVIDIA account』と表示され、
Eメールアドレスの入力が求められます。
ここで入力したアドレスで『NVIDIA Developer Program』に
登録する事になります。
使用可能なEメールアドレスを入力して『Next』を押してください。

『NVIDIA Developer Program』ログイン・登録画面。
使用可能なEメールアドレスを入力して『Next』を押す。

次に『Create Your Account』画面に移ります。
Email欄には先程入力したEメールアドレスが入力されています。
Passwordにパスワードを入れ、
Confirm passwordに上記のPasswordで入力したパスワードを入れた後に、
『I am human』を押してください。
なんらかの認証チェックが出るため、適切に回答してください。
回答後『I am human』にチェックが付いたら、
『Create Account』を押してください。

『NVIDIA Developer Program』登録画面。
Eメールアドレスとパスワードを登録後、認証を行う。
認証できたら『Create Account』を押す。

『Create Account』を押すと、『Verify Your Email』画面に変わります。
この状態になると、登録したメールアドレスにNVIDIAからメールが届いています。
『Verify Your Email』画面(タブ・ウィンドウ)を残したまま
メールを確認してください。
メールは『NVIDIA アカウントが作成されました』というタイトルです。
メール内に『電子メールアドレスの確認』とあるため、押してください。

『Verify Your Email』画面。
メールアドレスの確認が完了するまで、画面に変化はない。
『NVIDIA アカウントが作成されました』メール。
アカウント作成に使用したメールアドレスに、NVIDIAからメールが届く。
メール内の『電子メールアドレスの確認』を押すと、 アカウント作成が進む。

『電子メールアドレスの確認』を押すと、
『Your Email is Verified』画面が表れます。
メールアドレスの確認ができた事の表示になります。
この画面は数秒すると自動で閉じます。
先程の『Verify Your Email』画面に移動してください。

『Your Email is Verified』画面。数秒すると自動で閉じる。

先程残した『Verify Your Email』画面に移ると、
『もうすぐ完了です!』という画面に切り替わっています。
『登録する』を押してください。

『もうすぐ完了です!』画面。
メール通知設定が必要であればチェックを入れ、
不要ならそのまま『登録する』を入れる。

画面が移動すると『Complete Your Profile』に移ります。
名前(First Name, Last Name)などの入力が求められますが
なんでもいいので何かを入力していきます。

選択肢の『Job Role(仕事)』と『Industry(産業)』も
何か選択してください。

Organization / University Nameも何か入力してください。
該当する会社や大学があれば選択肢に出ますが、
特に無い場合は『xxx』(何らかの文字列)を入力し、
その後に選択肢として出てくる『"Create xxx"』
という物を押してください。

Development Areas of Interestに関しては
興味ある分野を1つから3つまでで選びます。
リアルタイムVCなら『Data Science』か『Generative AI』が
該当しそうですが、なんでもよいです。

『Join the NVIDIA Developer Program to access downloads (like cuDNN), how-to-videos, and more.』
にチェックが入っている事
を確認したら、
下の『Submit』を押してください。

『Complete Your Profile』画面。
該当するプロフィールを入力する。
*マークの箇所は必須項目のため、何かしら入力する。
『Join the NVIDIA Developer Program』にチェックが付いている事を
確認してから『Submit』を押す。

しばらくすると、再び『NVIDIA Developer Program』画面に戻ります。
現在はログイン状態のため、改めて下記の
『NVIDIA cuDNN』のURLに移動します。
『Download cuDNN』を押してください。



cuDNN:対応バージョンのダウンロード

ログイン状態であれば、『cuDNN Download』に変わります。
『I Agree To the Terms of the cuDNN Software License Agreement』
にチェックを入れると、cuDNNのうち新しい物が表示されます。
2023年05月29日(記事執筆時点)では、ここで表示される物ではなく
cuDNN:cuDNN8.5.0.96
が必要です
ので、『Archived cuDNN Releases』を押して
古いバージョンのcuDNN一覧画面に移動します。

cuDNN Download画面。
『I Agree To the Terms of the cuDNN Software License Agreement』
をチェックするとcuDNNの新版が表示される。
今回必要なcuDNNは8.5.0.96のため、
『Archived cuDNN Releases』で移動する。

『cuDNN Archive』に移ったら、
『Download cuDNN v8.5.0 (August 8th, 2022), for CUDA 11.x』
を押してください。

『cuDNN Archive』。 『Download cuDNN v8.5.0 (August 8th, 2022), for CUDA 11.x』 を押す。

押すと各OSに合わせたインストーラーが表示されます。
対応する物を押してください。
Windowsなら一番上の
『Local Installer for Windows (Zip)』
になります。

『Download cuDNN v8.5.0 (August 8th, 2022), for CUDA 11.x』 の選択肢。対応する物を選ぶ。

押すと『名前を付けて保存』画面が出ます。
圧縮ファイルのため、展開できる場所に保存してください。

cuDNNを『名前を付けて保存』する。



cuDNN:展開と配置

エクスプローラーで、保存した
『cudnn-windows-x86_64-8.5.0.96_cuda11-archive.zip』
を『すべて展開する』等で展開して、フォルダ内で
『bin』フォルダ等が確認できる位置に移動してください。

展開・移動後のcuDNNフォルダ。 中にはbin,include,libフォルダが存在する。

このフォルダ(中のファイル含む)を、
インストールしたCUDAにコピーして貼り付けます。
エクスプローラーでCtrl+Aキーで全選択、その状態で
Ctrl+Cキーでコピーしてください。

cuDNNフォルダ内ファイルを全選択してコピー。

CUDAは、通常であれば
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
に存在します。エクスプローラーでこの箇所に移動してください。

CUDAインストール先のフォルダ。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
こちらにもbin,include,libフォルダが存在する。

移動したら、
Ctrl+VキーでcuDNNのフォルダ(ファイル)を貼り付けてください。
上書きするかどうか表示が出たら『ファイルを置き換える』を
押して進めてください。
管理者権限が求められた場合、
続行して管理者権限で貼り付けをしてください。


cuDNN:『CUDNN_PATH』の登録

最後に、VCClientがcuDNNを使えるよう、
『環境変数』に『CUDNN_PATH』を登録します。
登録に関してはWindowsで説明します
(記事執筆者の環境がWindowsのため)。
他のシステムの場合も、CUDNN_PATHを環境変数として登録してください。

エクスプローラーで、『PC』を右クリックして
『プロパティ』を選んでください。

エクスプローラー画面からPCのプロパティを開く。

すると『設定』画面として『システム』『バージョン情報』が
表示されます(Windows11の場合)。
『システムの詳細設定』を押してください。

『設定』の『システム』『バージョン情報』(Windows11)。
『システムの詳細設定』を選ぶ。

新たに『システムのプロパティ』画面が表示され、
『詳細設定』が表示されます。
『環境変数』を押してください。

『システムのプロパティ』画面の『詳細設定』タブ。 『環境変数』を押す。

新たに『環境変数』画面が出ます。
下側の『システム環境変数』で『新規』を押してください。

『環境変数』。 『システム環境変数』で『新規』を選ぶ。

『新しいシステム変数』画面が出たら、
『変数名』に
CUDNN_PATH
『変数値』に
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
と入力し、『OK』を押してください。

『新しいシステム変数』。
CUDNN_PATH
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
を登録する。

システム環境変数に『CUDNN_PATH』が増えたら、
『環境変数』画面の『OK』を押し、
『システムのプロパティ』画面も『OK』を押してください。


VCClientの入手・展開

ここで本題となるVCClientを入手します。
下記URLに移動してください。

voice-changerという名前ですが、
こちらがVCClientの配布先になります。

githubのVCClient。 コード名としてはvoice-changerとなっている。

ダウンロードファイルは下にスクロールするとあります。
『(1) 事前ビルド済みの Binary での利用』欄の
Version, OS, フレームワーク, link, サポートVC, サイズ
の書かれた表に、mac版、win版がそれぞれ存在します。
自身の対応するOSの、最新Version『v1.5.3.3b』の『normal』を
クリックし、ダウンロードしてください。

VCClient配布リンク。
対応OSやフレームワーク(機械学習ファイル)、
配布先linkやサポートしているVCが記述されている。
今回は『Version:v1.5.3.3b』『OS:win』をダウンロードする。

linkを押すとGoogleドライブ画面に移動し
『このファイルのウイルス スキャンを実行できません。』
と出ます。
問題なければ『このままダウンロード』を押してください。

ダウンロード先。
『このファイルのウイルス スキャンを実行できません。』
となるが、『このままダウンロード』する。

保存する場所については
Cドライブ内に新規に『mmvc』フォルダを作り、
C:\mmvc\ の中に保存してください。
VCClientの動作異常を回避するために、この場所にしてください。

保存先に関する注意事項。
VCClientに関しては、
C:\ に新しく『mmvc』フォルダを作成し、
『mmvc』フォルダ内に.zipファイルを保存する。

もし『link』(Googleドライブ)からダウンロードできない場合、
表の下に『(*1) Google Drive からダウンロードできない方は
hugging_face からダウンロードしてみてください』
とあるので、hugging_faceを押してダウンロードしてください。

hugging_faceの場合は名前が見切れていますが、
ファイルにマウスカーソルを合わせることで
URLとバージョンが確認できます。
欲しいOS,バージョンのMMVCServerSIO(VCClient)をクリックし、
『download』からダウンロードしてください。

保存する場所については
Cドライブ内に新規に『mmvc』フォルダを作り、
C:\mmvc\ の中に保存してください。
VCClientの動作異常を回避するために、この場所にしてください。

hugging_faceのダウンロードリンク。
名前が見切れているが、クリックでの移動や
マウスカーソルを合わせてURLを見ることでバージョンが分かる。
hugging_face対応ファイルの画面。
『download』からダウンロードする。

C:\mmvc\ フォルダにダウンロードしたら、
『すべて展開する』や7zip 等の展開ソフトで
圧縮ファイルを展開してください。
『MMVCServerSIO』フォルダが作成されます。

以上で『必要ファイルを導入する』は完了です。
お疲れ様でした。


リアルタイムVCする

いよいよVCClientによるリアルタイムVCを行います。
起動・使用ファイル指定・デバイス指定してVC開始することで
リアルタイムVCができます。


初回起動と設定

先程展開した『MMVCServerSIO』フォルダに移動します。

MMVCServerSIO(VCClient)フォルダ。
多くのファイルがあるが、実行するファイルは決まっている。

(1) 事前ビルド済みの Binary での利用 に沿って
Windowsは『start_http.bat』をダブルクリックで実行してください。
Macは『startHttp.command』をダブルクリックで実行してください。

MMVCServerSIO(VCClient)フォルダの『start_http.bat』。
Windowsの場合はこのファイルを実行する。

起動すると黒い画面が表示され、
初回起動時は必要なデータのダウンロードが始まります。
完了するまで待ちます。

MMVCServerSIO(VCClient)起動中。最初のダウンロード。 完了するまで待つ。

しばらくすると、『
ブラウザで次のURLを開いてください.
http://<IP>:<PORT>/
多くの場合は次のいずれかのURLにアクセスすると起動します。
http://localhost:18888/
』と表示され、自動的に新しい画面として
『Voice Changer Client Demo』が表れます。

MMVCServerSIO(VCClient)起動中。
『多くの場合は次のいずれかのURLにアクセスすると起動します。』
と出ると、少ししてから新しい画面が出る。
『Voice Changer Client Demo』画面。
ここからリアルタイムVCの設定・実行を行う。

追記(2023年10月27日)VCClientのUIが変わりました。
MMVC(v1.5,v1.3両方)を使用する際は
モデルスロット編集画面から、
blankとなる箇所の
アップロードボタンを押して反映してください。
下記の内容は2023年05月29日の物になります。


MMVC_Trainerでv1.3(2023年05月29時点で
『MMVC_Trainer-main』を使用した方は『MMVCv13』を、
v1.5(『MMVC_Trainer-v1.5.0.0_SiFiGAN』)を使用した方は
『MMVCv15』
を押してください。

『Voice Changer Client Demo』画面。
2023年05月29日時点で、
『MMVC_Trainer-main』を使った人は『MMVCv13』を、
『MMVC_Trainer-v1.5.0.0-SiFiGAN』を使った人は『MMVCv15』を選ぶ。

『MMVCv15』を選ぶと、次のような画面に切り替わります。
誤って選んだ場合や、別のVCに切り替える場合は
『re-select vc』から前の選択画面に戻ることができます。

『Voice Changer Client Demo』。MMVCv15の場合の画面。
誤って選んだ場合などは『re-select vc』から戻る。

以降は『MMVCv15』の画面で説明を行います。
『MMVCv13』も基本的には同じ設定になります(※)
(※)v15とv13の差異は都度注釈を入れます。

はじめに、『Model Setting』を押して、
『Model Uploader』欄を表示してください。
Config(.json)、Model(.pt, .pth, .onnx),
Correspondence(※), upload が表示されます。
(※)v13にCorrespondenceはありません。

『Voice Changer Client Demo』MMVCv15 『Model Setting』を開いた状態。
Config(.json)、Model(.pt, .pth, .onnx), Correspondence(※), upload の4項目が表示される。

ここでは、確認編で入手した
『config.json』『G_latest_99999999.onnx』『train_config_Correspondence.txt』
の3種類(※)のファイルを指定・使用します。
VCClientにおいてはmyprofile.confは使用しません。
(※)
v13の場合は『config.json』『G_latest_99999999.onnx』の
2種類のファイルを指定・使用します。

Config(.json)には『config.json』を、
Model(.pt, .pth, .onnx)には『G_latest_99999999.onnx』を、
Correspondenceには『train_config_Correspondence.txt』を
右の『select』を押した画面(開く)で選択してください。

Correspondenceに関しては、選択すると下部の
『Speaker Setting』が自動で自身・目標声のID、F0(声の特徴量)、
推奨されるF0 Factorの値(recommend)が入力されます。
F0 Factorについては推奨値が表示されるのみで
自動設定されない
点に注意してください。

『Voice Changer Client Demo』MMVCv15
『select』を押すと表示される 『開く』(ファイルを選択する)画面。
各selectで対応する.json, .onnx, .txt各ファイルを指定する。
『Voice Changer Client Demo』MMVCv15 各ファイルを『select』した後の状態。
選択したファイルの名前が記入される。
またCorrespondenceのファイルを選ぶと、
自動で 『Speaker Setting』に各パラメータが入力・表示される。
『F0 Factor』は推奨値が出るが自動では設定されないため
自身で推奨値などに合わせる必要がある。

選択してファイル名が記入されましたが、
この状態だとまだ使用できません。
『Model Setting』欄の『upload』を押してください。
ファイルがアップロードされ、完了すると
選択したファイルを使用できるようになります。

『Voice Changer Client Demo』MMVCv15 ファイルを選択したら『upload』を押す。
『Voice Changer Client Demo』MMVCv15 アップロード中。
アップロードが完了して『not uploaded』が消えるまで待つ。

アップロードが完了すると『Server Control』欄の
『Model Info』に選択ファイルが表示されます。

『Voice Changer Client Demo』MMVCv15 アップロード完了。
完了すると『not uploaded』が消え、
『Server Control』欄の『Model Info』に選択ファイルが表示される。

ファイルのアップロードが完了したら、
最後に入出力デバイスを設定します。
最初の『Device Mode』に関してはVCClientの説明
それぞれのメリット・デメリットが記載されていますので
こちらをご確認ください。

大雑把には下記のようなメリット・デメリットがあります。
「client deviceはノイズ除去など使える/遅延が少し増える」
「server deviceは遅延が少ない/Chrome機能が使えない」

記事執筆者の環境だと、『client device』の場合は遅延の影響か
音が途切れ途切れになってしまったため、
『server device』を使用しました。

・client deviceの場合
『AudioInput』から使用するマイクを、
『AudioOutput』から変換結果を出力したいスピーカーや
仮想オーディオインターフェースを選んでください。

・server deviceの場合
デバイスの選択で、デバイス名だけでなく
『MME』等のデバイスドライバーの選択肢もあります。

ただしMMVCは24000Hzであるため
基本的に『Windows Direct Sound』等の
44100Hz以上から使用できるデバイスドライバーが選択できません。
『AudioInput』『AudioOutput』ともに『MME』を選び、
デバイスの中から
[MME]と最初に書かれている入出力デバイスを選んでください。

『Voice Changer Client Demo』MMVCv15 Device Setting、『server device』の場合。 『AudioInput』『AudioOutput』ともに『MME』を選び、
デバイス選択肢から[MME]と最初に書かれたデバイスを選ぶ。

最後に『Quality Control』を設定します。
『Quality Control』を押してください。

『Voice Changer Client Demo』MMVCv15 『Quality Control』
ここからノイズ抑制やエコーキャンセル、入出力の音量調整や F0の解析方法を選べる。

『Noise Suppression』(ノイズ抑制)では
エコーやノイズを抑えることができます。

チェックを付けると有効になるため、チェックしておきます。

『Gain Control』(音量調整)では、
変換前音声・変換後音声の音量を調整することができます。
変換前のマイク音量が足りない、
変換後の音声が小さい時などに調整します。
VC中にも値を変えることができるため、
こちらは変換中に値を変えてみてください。

『F0 Detector』はF0(特徴量)の検出方法が選択できます。
『dio』(早い/品質やや悪い)と
『harvest』(品質良/やや遅い)があります。
基本的には『dio』のままで問題ありません。

『Voice Changer Client Demo』MMVCv15 『Quality Control』設定後。

ここまで設定したら、リアルタイムVCを開始します。
上部の『Server Control』にある『start』を押してください。
しばらくすると『vol』『buf』『res』が変動し始め、
『res』の値が安定した辺りでリアルタイムVCができるようになります。

『Voice Changer Client Demo』MMVCv15 『start』
リアルタイムVCを開始する。

数秒すれば安定してリアルタイムVCができます。

もし音声がほとんど変換されない、たまに音が出る程度の時は
『Convert Setting』欄の『Input Chunk Num』を増減させてください。
『Device Mode』が『server device』の場合は下げる
(32や16など)方が安定するかもしれません。

安定性や変換速度・品質および
適応するパラメータはパソコンによって変わるため、
各自で調整が必要になります。
リアルタイムVC中も調整できるため、VCしながら値を変えて
安定する『Input Chunk Num』を探してください。

『Voice Changer Client Demo』MMVCv15 『Input Chunk Num』
ここから入力のデータサイズを変える。
『server device』の場合はデフォルト(48)より低いほうが 安定するかもしれないが、
この辺りはパソコンに依存する。

音声がリアルタイムVCできるようになったものの、
想定(ずんだもん)より声が低すぎる場合
『Speaker Setting』の『F0 Factor』を調整してください。
リアルタイムVC中も調整できます。

recommendの値から設定・VCを行い、VC結果を聞きながら
F0 Factorの調節をしてください。

『Voice Changer Client Demo』MMVCv15 『F0 Factor』
変換音声の声高はこの値で調節する。
まずはrecommendの値から初めて、VCを聞きながら調節する。

リアルタイムVCは『Server Control』の『stop』から停止します。
使用する音声デバイスを変える場合は、『stop』している必要があります。

安定してリアルタイムVCが出るようになりましたら
『リアルタイムVCする』は完了です。お疲れ様でした。

音声が出ない場合、VCClient公式のトラブルシュート
を参考に、どこから問題かを調べる必要があります。
また、その他のエラー等については
VCClientのissues Open(未解決問題)
issues Closed(解決した問題) ,
開発者であるwokさん(w-okadaさん)のTwitter等から調べてください。


2回目以降の起動と設定

まず先に、タスクマネージャーから『詳細』タブを確認してください。
VCClientを終了した状態で、終了済みのはずの
『MMVCServerSIO.exe』(VCClient)が存在した場合、
全ての『MMVCServerSIO.exe』を『タスクの終了』してください。
終了状態で『MMVCServerSIO.exe』が残っていると、
2回目以降に起動したVCClientが正常動作せずVCできません。

2回目以降の起動時は、前回の設定を引き継いだ画面になります。
『MMVCv15』を選んでいれば、『Voice Changer Client Demo』の
画面が表示されてから数秒して、『MMVCv15』の画面および
変更後パラメータ設定が最初から表示されます。

ただし、モデルだけはアップロードされていないため
『Model Setting』から再度『upload』する必要があります。
アップロード元になるファイルは選択済みになっているため、
『upload』を押せば1回目と同様のファイルをアップロードします。

『Voice Changer Client Demo』MMVCv15 2回目起動時。
『Model Info』だけ無くなっているため、
『Model Setting』を開き 『upload』を押してアップロードする必要がある。
アップロード指定ファイルは前回から引き継がれているため、変更しなくて良い。

あとは『Server Control』の『start』でリアルタイムVC開始、
『stop』で停止、パラメータ調整に関しては1回目と同様になります。


VC音声をDiscord等の入力にする・VC速度調整

『リアルタイム編A_MMVC_Clientで実行』の
『VC音声をDiscord等のソフトの入力音声にする』
『VC速度を早める・品質を上げる』
と内容が同等になります(※)
(※)VCClientにおいてはmyprofile.confが不要のため、
v1.3の場合、『VC速度を早める・品質を上げる』は対応しません
VCClient内のパラメータを調整して対応します。
v1.5の場合はmyprofile.confが再ONNX化で関わってくるため、
VCClientを使用する場合でも『VC速度を早める・品質を上げる』
が関係します。


リアルタイム編B_VCClientで実行まとめ

  • 必要ファイルを導入する
     →CUDA11.6インストール、cuDNN8.5.0.96ダウンロードと配置、
     VCClientダウンロードと展開

  • リアルタイムVCする
     →起動したらModel Settingで各ファイル指定、
     使用デバイス指定してstart
     パラメータはVCしながら調整する


最後に(開発者支援)


開発者である天王洲アイルさん(@IsleTennos)は
PIXIV FANBOXを開設しています。
有料プランもあるため、資金の支援が可能です。
MMVC開発を支援したい方は是非支援をお願いします。
無料プランでMMVC開発状況も書く(らしい)ため、
リンク先を登録しておくと便利だと思います。
FANBOXは下記URLになります。


公式サポート音声募集中

MMVC公式サポート音源は常時募集中です(FAQより)。
ご自身の声をMMVC公式サポート音源にしたい場合は、
開発者である天王洲アイルさんのTwitter
MMVC DiscordサーバーのIsleTennos#5740(天王洲アイルさん)に
DMにてお問合せください。


MMVCで分からない事があったら(FANBOXで質問)

不明点はMMVCのDiscordサーバーで質問可能ですが、
それとは別の質問用窓口が作成されました。
下記の、MMVC開発者天王洲アイルさんのpixivFAOBOXにて質問可能です。
MMVC関係で分からないことがあり、
Discordに入る事が難しい、質問しにくい、といった場合は
『MMVCに関する開発者に問い合わせ』にて質問してみてください。



開発者支援(VCClient)

VCClientの開発者であるwokさんには
コーヒーを寄付する事ができます。
VCClientはMMVCの他にもRVC等の音声変換モデルにも対応しています。
資金の支援が可能のため、支援したい方は
『Voice Changer Client Demo』画面の
コーヒーカップのアイコン
から寄付をお願いします。

wokさんへのDonate(寄付)の箇所。
『Voice Changer Client Demo』のコーヒーカップのアイコンを押すと 寄付画面が表示され、
そこから寄付できる。


次回予告(春日部つむぎ編_公式サポート組を使用)

次回は『春日部つむぎ編_公式サポート組を使用』として
ずんだもん以外の公式サポート音声(春日部つむぎ)の機械学習・VC手順を説明します。

ほとんどはずんだもんと同様ですが、
一部変更する必要のある箇所があります。
このため、『春日部つむぎ編_公式サポート組を使用』として説明予定です。


関連リンク

voice-changer(VCClient):https://github.com/w-okada/voice-changer

CUDA 11.6:https://developer.nvidia.com/cuda-11-6-0-download-archive
cuDNN:https://developer.nvidia.com/cudnn

7zip:https://7-zip.opensource.jp/

VB-CABLE:https://vb-audio.com/Cable/
YAMAHA SYNCROOM:https://syncroom.yamaha.com/play/dl/

MMVC開発者Twitter:https://twitter.com/IsleTennos
MMVC開発者FANBOX:https://mmvc.fanbox.cc/
MMVC Discordサーバー:https://discord.com/invite/2MGysH3QpD

VCClient開発者Twitter:https://twitter.com/DannadoriYellow
VCClient issues Open(未解決問題):https://github.com/w-okada/voice-changer/issues
VCClientissues Closed(解決した問題):https://github.com/w-okada/voice-changer/issues?q=is%3Aissue+is%3Aclosed
VCClient開発者_寄付先:https://www.buymeacoffee.com/wokad

MMVCニコニコ大百科:https://dic.nicovideo.jp/a/mmvc
記事執筆者Twitter:https://twitter.com/pipo_lll
記事執筆者Youtube:http://youtube.com/@pipo_lll
記事執筆者ニコニコ:https://www.nicovideo.jp/user/653583/
Imずんだもん王への道(旧版のMMVC導入解説動画)
ニコニコ Youtube
記事執筆者Note:https://note.com/pipo_lll
記事執筆者_欲しい物リスト(何かいただけたら嬉しいです)
https://amzn.to/37XNPOL

講座記事一覧 最初と編まとめ
前回:リアルタイム編A_MMVC_Clientで実行 次回:春日部つむぎ編_公式サポート組を使用

いいなと思ったら応援しよう!

この記事が参加している募集