見出し画像

その手があったかREALITY、エイプリルフールにハンドトラッキング機能公開。指にかけるメタバース研究開発の歴史を振り返る

しらいはかせ(AI研究/Hacker作家)

全世界の指トラッキングファンの皆さん、お待たせしました！
本日、REALITYにハンドトラッキング機能がリリースされました。

ただし「エイプリルフール限定」です！！

期間限定だそうなのです！！！
以下、公開情報からお知らせします。

え？REALITYまだダウンロードしてないの？？それはやばい
今すぐダウンロードしてきてください！！！
https://reality.app/

もちろん全世界同時に展開されています

ハンドトラッキング機能にあわせたイベントも

公式より

2023/04/01(土) 00:00 (JST) - 2023/04/03(月) 23:59 (JST)
ハンドトラッキング、解禁。
エイプリルフールなのに
真面目に頑張ってしまいました！
今年は待望のハンドトラッキング機能を72時間限定で公開！ページ最後のキャンペーンのお知らせもお見逃しなく！

公式より

時間に合わせて特別なギフトが降ってくるようです。

2023/04/01(土) 00:00 (JST) - 2023/04/03(月) 23:59 (JST)

あわせて「#REALITYチャレンジ」なるイベントが開催されています。

#REALITYチャレンジ 告知より

エイプリルフール72時間限定！特別機能の「ハンドトラッキング」を活用して新しい動画表現にチャレンジしよう！ダンスでも一問一答でも何でもOK、チャレンジする内容はあなた次第！TwitterやTikTokに動画を投稿した方から運営賞を選出し、さらに抽選で100名にガチャチケ3枚をプレゼント！!

#REALITYチャレンジ 告知より

実装が気になる方へ…公開情報から振り返る

REALITYのコンピュータビジョン技術は"ちょっとやってみた"ではない期間の研究開発が積み上げられています。

まずR&Dの「D」のほう、最近の公開情報から…。

2023/4/1 安定した指の実現へ

今回の公開にあわせて、具体的な実装詳細がレポートされています。

MediaPipeで取ったランドマークを、そのままアバターの関節の位置として設定してしまうと、アバターのサイズや腕の長さなどが合わないため、アバターの腕が引っ張られるように見えたり、思い通りに動かないです。

その問題を回避するために肩・肘・手首の位置は、ランドマークで計算した腕の長さとアバターの腕の長さの割合でランドマークを補正しています。例えば左肘は以下のように計算しています：

長さ補正割合 = (アバターの左肩から左肘の長さ) ÷ (左肘のランドマークから左肩のランドマークの距離) 左肘の位置 = アバターの左肩の位置 + (左肘のランドマーク - 左肩のランドマーク) × 長さ補正割合

REALITY株式会社でインターンとして参加したフーヨンハオさんのレポートより

指
腕と違って、それぞれの関節のランドマークから関節の回転を計算・補正し、回転だけをアバターの指関節に渡すことで、順運動学的な制御を実現しました。
具体的に言えば、ランドマークを用いて関節と関節のベクトルを算出し、さらにそのベクトルを用いて各関節の回転を計算しています。（指の第一関節と第二関節の回転は一軸しかないため、他の方向への回転は0に設定しています）
例えば第二関節は以下のように回転を計算しています：
v1 = 第二関節 - 第三関節
v2 = 第一関節 - 第二関節
第二関節の回転 = Quaternion.Euler(0, v1とv2が挟んだ角度, 0)

REALITY株式会社でインターンとして参加したフーヨンハオさんのレポートより

"ブレの制御"
いかに補正をかけても、ランドマークのブレが避けられず、特に手の動きが速すぎたり、手がカメラの視野の境界線あたりに掛かったり、他人が自分の後ろを通ったりする際、MediaPipeの誤認識によりトラッキングが荒れてしまうことが多いです。そこでローパスフィルターを導入しました。ランドマークで計算した位置と回転情報に対し、現在値から目標値に到達する割合を制御することで、速すぎる動きを防ぎ、アバターの動きを滑らかにしています。カルマンフィルターの導入も試みましたが、実装してみた結果計算負荷が高くなり、アプリのパフォーマンスを悪化させる恐れがあるため断念しました。

REALITY株式会社でインターンとして参加したフーヨンハオさんのレポートより

「ただ動けばいい、ということではない」、人々が生き生きと活躍するメタバース開発の世界の面白さがここにありますね…！

2023/2/6 フェイストラッキングにMediaPipeが導入される

2022/12/4 スマホで手を動かそうとした取り組みの公開

世界中のユーザが使っても大丈夫になるまで、真剣な取り組みが行われています。

研究開発の歴史

以下は、ラボの「R」側の取り組みを古いほうから紹介していきます。

SIGGRAPH ASIA 2018 Real Time Live!

VTuberスタジオ技術を開発していた頃の技術は"秘密"が多いのですが、いくつか外部発表した技術があります。
2018年12月のSIGGRAPH ASIA 2018 Real Time Live!でのライブデモです。

海外メディアでも大きく扱われました。

2018年末のこの時点でオリジナルのグローブハードウェア作っていました。
ちなみに会場は東京国際フォーラムホールC、座席数1,502席です。コロナ禍を経験してしまった人類はにわかに忘れているかもしれませんが、こういう環境は電波干渉が半端ないので「当日一発勝負」で通信を安定させるのは大変でした。

StretchSense社さんありがとう…。接続部分のハードウェアはリチウムポリマー電池で動いています。UnrealEngineで作られたスタジオシステムへの通信はBluethooh通信で行っております。
人間の手掌部のサイズは非常に多様で、縦に長い人、掌が広い人、指が細くて長い人などがおり、特に開発者である私や男性の方々と、女性のユーザさんではキャリブレーション基準が全く異なるので、様々なアプローチがありました。

ちなみにこのころコラボレーションしていたiKINEMA社はAppleに買収されてしまいました。

せっかく仲良くなっても遠い人になってしまう、お金を払っても何も解決しなくなってしまう、そんなつらみを何度か味わっています。

2019年ごろの指研究はハードウェア研究だった

VTechChallenge2019

非常に高価な新素材を使って独自ハードウェアを構築していたいた2018年でありましたが、そんなチャレンジも目に留まってか、VTechChallenge2019では、こんな提案をしてくださる学生さんもいらっしゃいました。ストッキングを使って数百円でフィンガートラッキングを実現するという研究です。

「新しい力学センサの開発とセンサを使ったハンドトラッキングデバイスの提案」倉茂雄人 (公立はこだて未来大学システム情報科学部情報デザインコース)

ハードウェアでフィンガートラッキングを実現するという取り組みは、数千ドルのハードウェア製品レベルのプロダクトが供給される状態になりラボの研究テーマとしては終了してしまいました。その後も世界中で継続研究されているテーマですね。2020年のStretchSense社のTikTok動画より。

2021年 メタバースでのインタラクション

その後、コロナ禍の混乱が続く中、フィンガートラッキングデバイスの研究は外部に公開するような要素がありませんでしたが、2021年11月11日に開催された「GREE Tech Conference 2021」において、
「REALITY」のメタバース化にはどんなUX・技術が必要か GREE VR Studio Laboratoryの試作とともに語る5つの成果
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
という講演で一部公開されています。ログミーさんが記事化してくださっております。

やはぎ：これは他のVR SNSでは物を掴めたりします。手に触れていないのに、謎のパワーでオブジェクトを持ったまま移動できたりするんですが、それは何か違うかなと思っていて……。ペンだったら、ちゃんと正しい手のかたちでペンを持ったり、コップもちゃんと取っ手を使って持ったりするようになったらいいなと思って作っています。

白井：なるほど。オブジェクトとのインタラクションというのは、具体的にはギフトなどですよね。物をくっつけるではなく、持つ。ペンを持ったりギフトを送ったり、箱を持ったり缶を持ったりして「みんなで乾杯！」のようなことができないかなということで。

多様な手の大きさをスタジオでグローブ作ったりしてわかっていますが、これをアニメーションで動的に生成したり。コップとかマグカップ、鉛筆などは持ち方がぜんぜん違うので、まだまだ研究要素があります。アーティストさんが全部それを作ったら死んでしまうので、そこをどうアルゴリズム化するかが研究要素です。

講演録より
「本映像はプロトタイプです、最終製品とは関係ありません」としつこく表記していた頃

この当時「買って手に入るデバイス」としては、Valve Index Controllerなどがありました。

2021-2022年 コンピュータビジョン技術とAI技術の融合へ

和歌山大学 床井先生の研究室に所属していた武政さんによるGREE Tech Conference 2021の発表です。このころは本当にまだ「やってみた」というレベルを超えていないコンピュータビジョン研究への移行期でした。

その後、AIアシストによるモーション融合「AIFusion」、さらに楽曲演奏技術、アバターカラオケ技術に発展していきます。表現力めちゃ向上する。

当時のお話はこちらにまとまっています。

さらにCGWOLRDさんで特集をいただきました。

メタバース開発者の卵が「自分は何者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】(2023/02/16 CGWORLD)

技術だけじゃない、みんなでわいわい楽しんでほしい。

私は"昼間の仕事"としてはメタバース研究開発の「R」を担当しているのですが、こうやって振り返ってみると「たかが指、されど指」なのです。
ハードウェア、センシング、コンピュータビジョン、機械学習、ルールベース、推論、時にはグラフィックス数学、そしてユーザさんの文化、表現、楽しみによって醸成されていく…そして今日はエイプリルフールです！
みんなでわいわい、コンヴィヴィアルテクノロジーを楽しんでください。

文化、技術、研究の歴史で振り返ってみましたが、令和のメタバースのエポックメイキングな出来事振り返りでした。

※ここまで上から目線ですみません！ここから下から目線です！

おまけ：ユーザさんたちが尊い…

え？ここまでREALITYまだダウンロードしてないの？？それはやばい
やだなあもう！今すぐダウンロードしてきてください！！！
https://reality.app/

素敵な作品があったら（勝手に）紹介させていただきますね…！
※私は運営とかではないので選考とは全く関係なく単なる趣味です先に謝っておきます！！ごめんなさいごめんなさいごめんなさい

Twitter #REALITYChallenge #REALITYチャレンジ

海外からー！

え…ナチュラルな指めっちゃいい…スチルだけどいい・・・

え・・・わかりみ・・・好き・・・（語彙力）

ふあああああ・・・「あくび」だああああ・・・（好き）

シンプルな技が光る！

投げキッス！！

これはエモートで再生して再販したい再生して再生したい！

使い方を研究してくれているー！

研究熱心なユーザ様！

深夜にテンションあがっちゃうユーザさんを観てテンション上がる俺

リリースから27分でこれだ「愛のしるし」

リリースから38分でこれだ…「マーシャル・マキシマイザー」！

「健全な遊び」が流行り始める

※グーチョキパーでなにつくろう」として有名なこの曲は原題を「フレール・ジャック」(Frère Jacques)と言い、フランスの伝統的な民謡です。

「可愛くてごめん」のフィンガーダンス、いや…ごめん！めっちゃ可愛くてありがとうございます。

バーチャルオタマトーンの演奏……！？？？好きや…！！


他にもいろんな作品を観たいけどいったんこれで筆をおきます！
ご感想はこちらのツイートへのリプライか…

こちらへ！（採用情報）


いいなと思ったら応援しよう！

しらいはかせ(AI研究/Hacker作家)
チップとデール！チップがデール！ありがとうございましたー！！