詠唱ツール for VRC の使用方法

boothで公開中です
https://mimihouse.booth.pm/items/3670668

どんなソフト？

音声認識を使用して、特定の言葉を話したときにOSCを送信します。
VRChatのアバターのパラメータを変更することを想定しています。

Expression Menuで行っていたアバターの着替えやアイテムの出し入れを
音声認識で出来るようにするソフトです。

VRChatのOSCについて(英語)
https://hello.vrchat.com/blog/vrchat-osc-for-avatars

動作環境

最新のWindows10 (.Net Framework 4.8 が動作する環境)で確認しています。

事前準備

アバター側の設定

アバター側でパラメータを使った着替えやアイテム出し入れの仕組みが必要です。
（Avatars3.0のParameterの知識が必要です）

使用可能なパラメータは以下の場所にJSONファイルとして生成されます。

~\AppData\LocalLow\VRChat\VRChat\OSC\{userId}\Avatars\{avatarName}_{avatarId}.json).

詳細は　https://docs.vrchat.com/docs/osc-avatar-parameters

"input" として定義されている物が外部(詠唱ツール)から設定可能なパラメータです。この "adderess" 宛てに値を送信できます。

動作中のパラメータはExMenuの
Options->Config->Debug 画面で確認できます

VRChatの設定

VRChatを起動後、ExMenuからOSCを有効にします。

OSCを選択

有効にします

ソフトの使用方法

起動

VRChatを起動した同じPC上で起動してください。

接続先の設定

基本的にそのままで問題ありません。

認識させたい言葉の登録

「認識する言葉」を話すとVRCへ「アドレス」を「設定値」に変更するOSCを送信します

追加ボタンを押すと１行追加し、それぞれの行の「-」を押すと削除します。

●認識する言葉
　反応させたい言葉を入力します

●送信するパラメータ
「/avatar/parameters/」の後に変更したいパラメータを入力します。
　例「/avatar/parameters/Cloth」

●設定値
　アバターのParameterの種類により、以下のように半角で入力します。
・int の場合、整数を入力します。
　例「1」
・bool の場合、trueにする時は「1」、falseにする時は「0」を入力します。
　例「0」
・flort の場合、「.」で区切った数字を入力します
　例「1.2」
　※ 0にする場合は「0.0」と入力

言葉の登録（詳細設定）

１つの言葉で連続してOSCを送ったり、ランダムでOSCを送ることができます。「送信方法」下のボタンを押すと詳細設定画面を開きます。

詳細設定を行った場合、アドレスと設定値の変更は詳細画面のみで行えます。

連続送信
送信方法「連続」ではOSCを上から順番に送ります。
遅延(ms)を設定すると、実行間隔を調整できます。

１つの言葉で複数のOSCを送信できます

ランダム送信
送信方法「ランダム」ではランダムで１つ実行します。
遅延時間は設定があっても使用しません。

ランダムで１つのOSCを送信します

音声認識を開始

開始ボタンを押すと現在の設定で音声認識を開始します。
マイクはWindowsで入力デバイスとして選択しているマイクが使われます。

使用したいマイクが選択されているか確認して下さい。

音声認識に成功するとOSCが送信され、ログ欄に結果を表示します。

ログで送信されたことを確認後、VRChatで反映されているか確認してください。

詳細設定

ファイル → 詳細設定 から開きます

ウェイクワード設定

指定したキーワードで音声認識を一時停止/再開できます。
一時停止の切り替え時にサウンドファイルを再生できます。
（soundフォルダのwakeup.wav, pause.wav）

設定の保存と読み込み(支援版のみ)

ソフトの終了時、現在の状態を「config.json」に保存します。
ソフトの起動時、自動で「config.json」を読み込みます。

また、「ファイル」から設定の保存と読み込みができます。

使用するコツ

マイクの音量を確認する

Windowsの設定からサウンドを選び、入力の「デバイスのプロパティ」からボリュームが小さすぎないか確認してください。

デバイスのプロパティを選択

ボリュームが小さい場合は大きくしてみて下さい。

大きめの声で話す

小さい声だと認識率が下がります、はっきりと話すと認識率が上がります。

ひらがな・カタカナ・漢字で試す

同じ言葉でも書き方を変えると認識率が上がることがあります。

１つの言葉で複数のパラメータを送る

同じ「認識する言葉」がある時、まとめて実行します。
服と小物が別のパラメータで管理されている時などに便利です。

問題がある時

アバターにParameterを追加後OSCを送信しても値が変わらない

ExMenuのOSCからReset Configを選択すると、アバターパラメータのJSONファイルが再生成され、OSCで値が変更できるようになることがあります。

マイクが反応しない

windowsの設定 → プライバシー → マイクから、マイクへのアクセスをオンにしていることを確認して下さい。

「このデバイスのマイクへのアクセスはオンになっています」になっているか確認します

「デスクトップアプリがマイクにアクセスできるようにする」を「オン」にします

コントロールパネルの音声認識から、マイクのセットアップを行ってみて下さい。

マイクのセットアップを行うと改善することがあります。

詠唱ツールに不具合がある場合

twitter @33linn までDM頂けると助かります。