見出し画像

Live2Dを使った楽器演奏表現【Live2Dアドカレ2021】

古都laz

はじめまして、古都Laz（ふると らず）です！
今回ナナメさん主催の【#Live2Dアドカレ2021】に参加させていただき、初めてNoteを書かせていただきます！

画像4

Noteを書くのも、Live2Dに関する記事を書くのも初めてなので、わかりづらいところもあるかもしれませんが、少しでもお役に立てたら嬉しいです！

自己紹介

バーチャルフルーティストの古都Laz（ふると らず）と申します。

正方形アイコン4

フルートを吹くVtuberとして、フルートを吹いたり歌を歌ったり音楽メインで活動しているVtuberです。
Vtuberとしてフルートを演奏するために、2018年冬頃から自らLive2Dを触るようになり、2020年12月頃からは個人でVtuber様のLive2Dモデリングを請け負うようになりました。
2021年11月より、Live2Dモデラーとして企業に所属し、Vtuber様のLive2Dモデリングを行っています。

▼今まで担当させていただいたVtuber様（個人受注）

僕はLive2Dで初めて触ったモデルが「フルート演奏モデル」で、そこから「ギター演奏モデル」「ウッドベース（コントラバス）演奏モデル」といくつか楽器演奏に関わるモデル制作に携わらせていただいたという経緯があり、僕なりに「Live2Dを使った楽器演奏表現」の方法について、いくつかまとめてみたいと思います。

楽器演奏モデルを制作してみたい方や、楽器演奏に関わらず、新しい表現をしてみたい方にとって、少しでも参考になれば幸いです。

Live2Dで楽器を演奏する方法について

現状でLive2Dで楽器を演奏する方法については、大きく分けて4つあると思います。

1.すべてアニメーションで制作する表現
Live2Dのアニメーションモードでキーパラメータを手打ちする方法。

2.トラッキング+アニメーション（アニメーション後付け）を使った表現
トラッキングで大まかな動きを撮影し、その後にLive2Dアニメーションモードでキーパラメータを追加・修正する方法。

3.アニメーション（モーション）+トラッキングを使った表現
アニメーション（モーション）を再生しながら、トラッキングも併用する方法。

4.ハンドトラッキングを使った表現
腕や指をトラッキングで動かす方法。

それでは、それぞれについて詳しく見ていきたいと思います。

1.すべてアニメーションで制作する表現

Live2Dのアニメーションモードで一からキーパラメータを手打ちする方法です。

近年はVtuberという、トラッキングソフトで動かす手法が発達してきましたが、元々はLive2Dを動かすというとこちらのやり方を指していたんではないでしょうか。
最近良く見かける、スマホゲームや漫画広告などでイラストが動いているのもこういった方法で作られていると思います。
（筆者はVtuber以外の用途に詳しくないので、違ったら教えてください）

スクリーンショット (6)

ちなみに僕はこの方法で楽器演奏のアニメーションを作成したことはありません。（楽器演奏以外のちょっとした短いモーションであればありますが・・・）
上記は一からキーを打ったわけではないので、こんなに多く打つことはないかと思いますが、それでも一から打つのは大変そうですね。。。

この方法で楽器演奏表現をされている方に、鷹森ツヅルさんがいらっしゃいます。
この方は楽器演奏の部分どころか、1曲を通して多彩な表現でMVを制作されていて技術もセンスも素晴らしすぎるのですが、Live2D・アニメーションを極めればこんな動画が作れます。すごい。すごすぎる。


2.トラッキング+アニメーション（アニメーション後付け）を使った表現

トラッキングで大まかな動きを撮影し、その後にLive2Dアニメーションモードでキーパラメータを追加・修正する方法です。

こちらについては、まずトラッキングデータをLive2D Cubismに読み込める「.json」ファイル形式に変換する必要がありますが、その際に僕は「Moli」というフリーソフトを使わせていただいてます。

スクリーンショット (8)

上記画像の右に映っている、四角の物体が動きを変換するためのMoli専用モデル（MoliModel）です。

使い方としては、
①Moli専用モデルをトラッキングソフトに入れる。
②Moli専用モデル全体が画面に映るような状態で、動画を撮影。
（複数ウインドウを起動して、最終的に動かしたいモデルの動きも一緒に見ながら撮影するとやりやすいです）
③Moliを起動して撮影した動画をインポートし、Moli専用モデルを範囲選択して書き出す。
という感じで、けっこう簡単です！

この機会に簡単な使い方動画を作ってみたので、詳しく知りたい方はこちらをご覧ください。

▼Moli使い方動画

こうして全体の動きをトラッキングで撮った後、トラッキングでは撮れない細かな指の動きなどをLive2Dアニメーター上でキーパラメータを追加します。

このようにしてできた動画がこちらです。

個人的にMoliはすごくオススメです！！
というのも、僕のようなアニメーション初心者でも比較的簡単にアニメーションを作成できるからです。

アニメーションを一から作る技術がある人にとっても時短になるのではないでしょうか。
楽器演奏に限らず、いろんなアニメーションを作る際に役立つと思います。

Moliは現在、製作者のときなし様のFANBOXにて無料で配布されています。
以前は「.moc3」ファイルは配布されていなかったのですが、今回お願いしたところ、なんとすぐにご対応してくださいました・・・！
（ときなし様ありがとうございます・・・！）

「Vtube Studio」や「nizima LIVE」では複数モデルの起動が可能ですので、「.moc3」ファイルを他モデル同様にトラッキングソフトに入れることで、簡単に撮影可能です！

▼Vtube StudioでMoli専用モデルを起動している様子

スクリーンショット (12)

思っているより簡単にできると思うので、ぜひ皆さんも一度使ってみてくださいね。

▶︎Moli配布ページはこちら

3.アニメーション（モーション）+トラッキングを使った表現

アニメーション（モーション）を再生しながら、トラッキングも併用する方法です。

待機モーションに演奏している様子を組み込み、待機モーションを切り替えることで、演奏時のみ演奏している動きをするようにします。
腕や手の動き以外はトラッキングで動くため、目や口の動きはリアルタイムでの反映が可能です。

僕の場合は、琴音ニコルちゃんのギターとウッドベース（コントラバス）の演奏モデルで使用しました。

実装した機能と仕組みは以下のとおりです。

【ギターモデル】
・ソロギターモード
右手と左手が動くモード。左手はコードを押さえる動き、右手は弦を指で弾いている動きを繰り返します。

・コード弾きモード
左手のみ動くモード。左手はコードを抑える動きを繰り返します。
右手の「ピッキング」はキー操作で動くので、タイミングに合わせて操作するとけっこうリアルに見えます。
（演奏時は手が塞がるので、フットスイッチなどを駆使する必要があり、少し慣れも必要になります。）

【ウッドベース（コントラバス）モデル】
・アルコ（弓で弾く）モード
・ピッチカート（指で弾く）モード
ともに左手のみ動くモード。左手はコードを抑える動きを繰り返します。
右手の「弓や指で弾く動き」はキー操作で動くので、タイミングに合わせて操作するとけっこうリアルに見えます。
（演奏時は手が塞がるので、フットスイッチなどを駆使する必要があり、少し慣れも必要になります。）

文字で書くとわかりづらいかと思うので、興味を持っていただいた方は良ければモデルの紹介動画をご覧ください。

こちらも演奏表現に限らず、色んなモデルに応用可能な手法かと思いますので、何かのアイデアに繋がれば幸いです。

4.ハンドトラッキングを使った表現

腕や指をトラッキングで動かす方法です。

ハンドトラッキングとしては、Leap Motionなどのセンサーを繋いで動かす方法（Facerigで対応していたかと思いますが、僕自身あまり詳しくありません。。）もありますが、直近ではVtube Studioに追加されたWebカメラでのハンドトラッキングが注目されているかと思います。

かくいう僕も、ハンドトラッキング機能が追加されたと聞いて飛びつきました（笑）

左下の窓に映っているのが実際にWebカメラで認識している手の形なのですが、いかがでしょうか？
Webカメラのみで撮影しているとは思えないほど、きれいに動いていると思います。

試した実感としては、指の動き自体は精度高めでちゃんと認識してくれる印象です。
ただ、手全体を動かすのは早いと認識されなくなりがちなのと、（Webカメラなので仕方ないかもですが）認識範囲が少し狭いなという印象でした。

まだリリースされたばかりの試作版という感じですし、それでこの精度なのはこれからのアップデートが楽しみですね。

Vtube Studioのハンドトラッキングに関しては、今回の#Live2Dアドカレ2021でも「めてねぇ様」が書いていらっしゃいますので、使い方などは割愛します。


トラッキング+MIDI入力／音声認識を使った表現（未来のお話）

ここまで、現状僕が試したことのある（または知っている）手法について記載をしてきましたが、最後にこんな手法ができるようになったら楽しいだろうな、というものを2つ。


まず1つ目が、トラッキングとMIDI入力を使って動かす手法です。

MIDI入力は3Dの世界では以前から使われていて、VRChatなどではMIDI入力を検知して動くピアノが置いてあるワールドなどもあります。
3Dの世界に限らず、配信中に弾いているピアノの鍵盤をリアルタイムで光らせたりしている方もいらっしゃったり、比較的良く使われている技術だと思います。

3Dで、ハンドトラッキングで手を動かし、MIDI入力で楽器（ピアノ）を動かしている方としては、イトイさんがいらっしゃいます。

ピアノの鍵盤だけでなくハンマーなどの細部に至るまでの拘り、再現度の高さが素晴らしい。。。

2Dは3Dのように多方向から映すのは得意ではないなど、それぞれの特性はありますが、MIDI入力を使用するという考え方自体は2Dにも応用できるのではないかと思います。

現状2DトラッキングソフトでMIDI入力を検出できるソフトはない（と思う）ので、いつか実装してくれないかなぁ、、なんて思ったりしています。
（もしMIDI入力できるトラッキングソフト知ってるよ！という方がいらっしゃったら教えてください！）

2つ目が、トラッキング+音声認識を使って動かす手法です。

こちらも同じく、3Dの世界では実装を試みている方（ゆめみどり ゆきさん）がいらっしゃいます。

こちらは、マイクからの入力をFFTという方法で音程特定し、アバター内に予め仕込んであるアニメーション(ポーズ)を使って音程毎に決まった位置へ手と楽器が動くという仕組みで動いているそう。
(※ただし、VRChatのアップデートにより、記事掲載の2021年12月時点では、この方法で動かすことはできなくなってしまったとのことです。)

僕は音声認識について詳しくないため、あまり良くわかっていないのですが、すごすぎる技術ですね。。

MIDI入力に関しては電子楽器に限りますが、こちらは僕が演奏するフルートだったりの生音楽器にも使える考え方なので、夢が広がりますね。
（現状はMIDI入力に比べてあまり主流でない＝自分で仕組みを構築していく必要があるので、誰かソフトを開発してくれないかなぁの気持ち。）

終わりに

ということで、今回は楽器演奏表現に着目して色々な表現方法を紹介してみましたが、いかがだったでしょうか。

どの手法も楽器演奏に限らず、応用できるものだと思いますので、楽器演奏モデルを制作したいと考えている方はもちろん、そうでない方にとっても、アイデア・ひらめきに繋がれば嬉しいです。

また、今回は3Dでの表現も参考にこんなことができるといいなということも述べましたが、3Dの考え方を2Dに利用するということも、色んな場面で有用だと思います。

Live2Dとしてはまだまだ未熟な僕ですが、楽器演奏に特化したり、3Dモデルでの活動も行っている僕だからこその着眼点で、皆様のお役に立てていたら嬉しいなと思います。

P.S.
楽器演奏表現について、僕の知っている限りで書きましたが、他にもこんな方法があるよ！という方がいらっしゃったら、ぜひ教えてもらえると嬉しいです！


古都Laz


いいなと思ったら応援しよう！