見出し画像

Warudoを試してみたよ

しらいはかせ(AI研究/Hacker作家)

米国のVTuber研究者 TigerHixさんが「Warudoを作ったよ！」というメッセージを頂いた。
TigerHixさんは「Alterecho: Loose avatar-streamer coupling for expressive vtubing」を書いた研究者。

https://twitter.com/o_ob/status/1445786797670166536

日本語訳があったので紹介

Warudoは、柔軟でパーソナライズされた3D VTubingソフトウェア

https://warudo.app/

個人使用は100%無料。
ウェブカメラ/iPhone ARKitフェイストラッキングとハンドトラッキングが含まれています。
モーキャプスーツ、VRトラッカー、VMC対応ソフトウェアで全身をトラッキング。
VRM、VRChat、またはあらゆるヒューマノイドリグモデルと互換性があります。(Unityでの1回限りのエクスポートが必要です。）
完全にカスタマイズ可能な表現。
独自の3Dプロップ、環境、パーティクルなどを追加可能。
Twitch、YouTube、Bilibiliなどのライブストリーミングプラットフォームとのネイティブ統合。
アイテムを投げたり、ステッカーやパーティクルをスポーンしたり、ウォータービームを発射したり。
トラッキングからインタラクションまで、何でもカスタマイズできるブループリント・システム。
MIDI、Stream Deck、あるいはWebSocketメッセージでブループリントをコントロールできます。
開発者が望む機能を追加するためのC# SDK！
...長くなるので割愛します。残りの機能については、ご自身で調べてみてください！

さっそくセットアップしてみる

Steamからインストール

Basic Setup

Warudoへようこそ！キャラクターを選択してください。

カスタムキャラクターモデルには、VRM（.vrm）またはWarudo Character Mod（.warudo）形式のモデルファイルが必要です。それをキャラクターフォルダ（下記）に置き、ここに戻ってきて選択してください。

キャラクターを選択→Shipikaを選択してみる
（VRMも選べる）

モーションキャプチャの設定
Warudoは、ウェブカメラからプロ仕様のモーキャプスーツまで、様々なモーションキャプチャシステムをサポートしています。

Warudoがあなたのためのセットアップを提案しましょうか？→はい。

全身を記録する必要がありますか？
上半身をトラッキングする必要がありますか？
Face IDに対応したiPhone/iPadを持っていますか？
ウェブカメラは使えますか？

回答に基づいて、以下のフェイストラッキングとポーズトラッキングのテンプレートをお勧めします。

顔トラッキングテンプレート
ウェブカメラベースの顔トラッキング。40以上のARKitブレンドシェイプ、頭の回転、頭の移動をトラッキングします。

ポーズトラッキングテンプレート
ウェブカメラベースの上半身トラッキング。より広いモーション範囲（例：前方/後方の手の動き）と、より反応の良いトラッキング（例：パンチ）をトラッキングします。

最高のハンドトラッキング結果を得るためには、後でMediaPipeトラッカーアセット内の設定を手動でキャリブレーションすることをお勧めします。

後で変更したいですか？Character → Motion Capture → Setup Trackingでいつでもキャラクターのトラッキングを手動で設定できます。

顔トラッキング

ブレンドシェイプマッピング
モデル上で利用可能なブレンドシェイプを選択します。これらのブレンドシェイプは、顔のトラッキングに使用されます。最適なオプションが自動的に選択されます。
このモデルには20/52のARKitブレンドシェイプがあります。

カメラ入力
頭と体の動きを有効にする
無効にすると、顔のブレンドシェイプデータと目の回転のみが適用されます。
アイドルヘッドアニメーション
微妙な頭の動き、目の動き、まばたきを追加して、キャラクターをよりリアルにします。
ルックアット
キャラクタの頭と目を自然に回転させ、カメラなどのターゲットを見ます。
ターゲット
最良の結果を得るために、現在のセットアップが完了したら、"Look At Settings "の "Maximal Eye Rotation "を調整して、キャラクタがターゲットに向ける視線が予想と一致するようにします。

リップシンク
音声入力に基づいて口をアニメートします。

ポーズトラッキング

キーボードを使う
トラックパッド
カメラ入力

エクスプレッションのインポート

キャラクタ モデルには、ホットキーでトリガされるエクスプレッションが含まれています。それらを自動的にインポートして、キー バインディングを設定しますか？

はい（Yes）、エクスプレッションをインポートします。
いいえ、エクスプレッションをインポートしません。
15個のエクスプレッションがインポートされ、自動的にキーバインディングが割り当てられます。キーバインディングは、後で "Expression Key Bindings" ブループリントで変更できます。

成功：式キー・バインディング・ブループリントの生成に成功しました。

Alt+1 喜び
Alt+2 怒り
Alt+3 悲しみ
Alt+4 楽しい
Alt+5 ガオ
Alt+6 ウィンク
Alt+7 泣く
Alt+8 どや
Alt+9 なごみ
Alt+0 ＞＜ （アルト
Alt+- ぐるぐる
Alt+= あわわ
alt+qむす
Alt+W なまいき
Alt+E ノーコート
Alt+R ノーハット
Alt+T ウイングなし
Alt+Y 靴なし
Alt+U 尻尾なし
Alt+I バンドエイドなし
Alt+Backspace 表現を消去

背景の設定



キャラクターを設定したので、キャラクターの環境（つまり「3D背景」）を選びましょう。また、背景を透明にすることもできます。

はい、環境を選択します。
いいえ、現在の背景のままにしておきます。
背景を透明にしたい。
環境を選択：Classroomを選択

これで完了！

これで基本的な設定は完了です。

各アセットには様々なカスタマイズオプションが用意されています。例えば、フルボディトラッキングを使用していない場合、キャラクター → アニメーション → アイドルアニメーションでキャラクターのアイドルアニメーションを選択することができます。500以上のアイドルアニメーションから選択できます！

OBSを使用している場合、ゲームキャプチャーやウィンドウキャプチャーを使用する代わりに、OBS Studio用のSpout2プラグインを使用してWarudoウィンドウをキャプチャーすることをお勧めします。

最後に、Menu → Save Sceneでシーンを保存するのを忘れずに！

Blueprintができてる！

ここで一度Warudoを起動し直すといいです

ローカルでMediaPipe Trackerなどが上がっています

この段階でも十分かわいいですが、YouTubeでの配信をセットアップしていきます。

配信設定 Interaction Setup

Warudoのブループリント・システムに慣れていないけれど、観客とのインタラクションが欲しいですか？このウィザードを使って、ブループリントを作成してみましょう！

まず、ストリーミングプラットフォームを選択してください→YouTubeを選択


ギフトの設定

キャラクターにアイテムを投げるタイミングを設定します。

デフォルトではランダムな動物のぬいぐるみが投げられる。小道具は自分でインポートするか、Steamワークショップからダウンロードできます。どのアイテムを投げるか、投げる速度、その他のオプションは生成されたブループリントの "Throw Prop At Character "ノードで設定できます。

YouTubeでチャットを受信
YouTubeでスーパーチャットを受信
YouTubeでスーパーステッカーを受け取る
YouTubeメンバーシップを受け取る
YouTubeギフトメンバーシップを受け取る
YouTube マイルストーン メッセージを受け取る

ステッカー

キャラクターに向かって飛んでくるステッカーをスポーンさせるタイミングを以下で設定します。

デフォルトでは、Images/Iconsフォルダ内のランダムアイコンが使用されます。YouTubeのスーパーステッカーがトリガーとなった場合は、ステッカーの画像が代わりに使用されます。Imagesフォルダに自分の画像を入れてインポートし、生成されたブループリントの「Spawn Sticker」ノードで、使用するステッカー画像、トレイルパーティクル、その他のオプションを設定できます。

YouTube チャット受信時
YouTubeスーパーチャット受信時
YouTubeスーパーステッカーを受信
YouTube メンバーシップを受け取る
YouTubeギフト・メンバーシップを受け取る
YouTube マイルストーン メッセージを受け取る


これでインタラクションの設定は完了です。

これは、さらにカスタマイズできるインタラクションのブループリントを生成するための簡単な方法であることを覚えておいてください。ブループリントを使えば、視聴者が特定のキーワードを言うと表情を変えたり、TwitchのリディームやYouTubeのスーパーチャットで服やアクセサリーのオンオフを切り替えたり、ホットキーを押すとキャラクターをラグドールとして空に飛ばしたりすることもできます。もし興味があるようでしたら、ブループリントのチュートリアルをご覧ください。

質問がありますか？私たちのDiscordサーバーに参加して、すぐに質問してください！

覗いてみると、C#でカスタムノード、アセット、プラグインを作成できるみたいです。すごいな。

YouTubeで配信開始

YouTubeLiveとOBSを設定します。

OBSを使用している場合、ゲームキャプチャーやウィンドウキャプチャーを使用する代わりに、OBS Studio用のSpout2プラグインを使用してWarudoウィンドウをキャプチャーすることをお勧めします。

とあったので、インストールしていきます。

Spout2はOpenGLのテクスチャを他のアプリで共有できる、OBSプラグインのようです。
https://github.com/Off-World-Live/obs-spout2-plugin/releases


インストールして、OBSを起動すると、入力ソースに「Spout2 Capture」が存在します。

おおー！これは速い

設定次第ではもっと高速にできそう

Live!!

Warudo first flight

チャットも受け取っているようだ

（誰のYouTubeDataAPIを使っているんだろう…？という素朴な疑問）

気になったこと

・せっかくなのでBGMを管理する機能がほしいな
・ブループリント、Unityで独自実装しているのだろうかすごいな
・C#でノードが書けるようです

その他公式注意書き



https://warudo.app/videos/warudo-easy.mp4


ビデオや画像で使用されているモデルは、必ずしもリリースに含まれていないことにご注意ください。

私たちは "個人的な使用 "を次のように定義します：
あなたのVTubingペルソナの著作権はあなただけにあり、ソーシャル/ライブストリーミングプラットフォームのアカウントの所有権はあなたにあります。
大手ライブストリーミングプラットフォーム（例：Twitch、YouTube）と直接契約している場合を除き、週X時間の配信を義務付ける契約義務がないこと。

Warudoを商業的に使用したい場合は、info@warudo.app。

この記事が気に入ったらサポートをしてみませんか？