メタバース機材情報(モーションキャプチャ）2023年8月4日更新
はじめに
メタバースに必要なモーションキャプチャ情報を上げていきます
#目線がわかる
2023年8月4日（NEW!)
おっ、これの良さが分かるぞ。顔の向きに引きずられずに目線がどっちを向いているかにちゃんと反応してる。つぎはコレの変換チャレンジしよう。"L2CS-Net"https://t.co/FWnv5p2vEi pic.twitter.com/5i4sq8nqWf
— Super PINTO (@PINTO03091) August 3, 2023
#mocopi
2023年7月31日
バーチャルキャストには、OSCではなく、mocopi (UDP)のフォーマットでモーションデータを送ってください。mocopiの独自アルゴリズムをそのまま使えるので動きがいいです！バーチャルキャストさんご対応ありがとうございます！！ https://t.co/EjPy4OtfTs
— Aimi （室長） (@t_aimi) July 20, 2023
#4DHuman
2023年7月30日
ブログを書きました！
— cedro (@jun40vn) July 24, 2023
今回ご紹介するのは、単眼画像から人物の３Dモデルを推定する「4D-Humans」という技術です。従来は難しかった「体が逆さまになるような特殊なポーズ」でも、３Dモデル推定が可能になっています。
ブログ：https://t.co/3upStcXTuU pic.twitter.com/5MXAdAJrEy
#MatLab
2023年7月30日
Kicking it up a notch #NationalSoccerDay⚽
— MATLAB (@MATLAB) July 28, 2023
Combine a #DeeplLearning model for pose estimation to perform a 3D reconstruction using two cameras ➡️ https://t.co/KsKydCi9gK pic.twitter.com/ANoGTKK30x
#LeapMotion
2023年7月4日
Leap Motion 2のトラッキング精度すごすぎる！！🤩🙌 pic.twitter.com/KdO2CtTot0
— オレンジ/メタバース撮影技術者 (@orange_3134) June 29, 2023
#OmniMotion
2023年6月24日
何かに隠れても長時間正確に追跡可能。映像内の物体の動きの軌跡をピクセル単位で追跡する手法「OmniMotion」 https://t.co/sHZMbVdxlu 映像内で動く物体を画素レベルで追跡するモーション推定。オクルージョンや長時間の動き,カメラ位置が変わっても一貫性を保った動きの軌跡追跡を高精度で行う。 pic.twitter.com/QOtpj85vmI
— Seamless (@shiropen2) June 21, 2023
#NeRF
2023年6月16日
とんでもないトラッキング手法が発表された！
— Naoya | 南アでチーター研究🐆🇿🇦 (@DenDen047) June 9, 2023
NeRF技術を使うことで、3次元的に物体を捉え、特徴点を追跡できる。オクルージョンにも対応できる。https://t.co/tdacDEIiwo pic.twitter.com/j4DQxkitZ0
#mocopiがUnrealEngine対応
2023年5月28日
mocopiの動作確認済みシステムにUnreal Engineが追加！UEでもリアルタイムにモーションデータを取り込むことが可能にhttps://t.co/nmWxQ1sVOc
— ゲームメーカーズ (@GameMakersJP) May 26, 2023
Unreal Engineの専用プラグインが配布されている。Epic Developer Communityでも解説あり pic.twitter.com/2Ke42IekVD
#mocopi +デスクトップで指トラ
2023年5月20日
mocopi+デスクトップモードでフルトラできちゃうツールに新機能！🎉😍
— オレンジ/メタバース撮影技術者 (@orange_3134) May 19, 2023
1️⃣指が動かせるように！✌
2️⃣寝たり歩き回ったりできるように！💃
デスクトップでもかわいく動いちゃおう～！✨#mocopi #バーチャルモーションキャプチャー #NeosVR pic.twitter.com/B4KkkChrZY
#Clusterがmocopi対応
2023年5月20日
【Cluster Tech Blog更新】
— クラスター株式会社 (@cluster_corp) May 18, 2023
技術的負債を返済しつつmocopi対応した話
clusterがmocopiに対応しました！
今回の対応では、将来を見据え、過去の負債を返済する形での開発が実現しました。
その詳細について紹介します。
ぜひご一読ください🙌
https://t.co/igtgHEqlwQhttps://t.co/IoEQRilz2i
#フルトラもどき
2023年5月20日
VRChatで「フルトラもどき」を実現できました！笑
— ミスターVR (@3DVR3) May 17, 2023
トラッカーなしです！
Standable: Full Body Estimationをインストール。
あとはSteamページ内のGIFの通りにキャリブレーションだけでいけましたhttps://t.co/Aigs5U6g9p
動きに結構違いが出るので、とりあえず入れとくと良さそう！ pic.twitter.com/g60ZyFO12v
#Cascadeur
2023年5月15日
Cascadeurに動画からモーション生成が！生成した動きをそのままCascadeur上で調整出来るとなると、モーションデータ量産しまくれるなぁ素晴らしい
— 3D人-3dnchu- CG情報ブログ (@ymt3d) May 13, 2023
それよりも
動けるように今のうちに身体を慣らしておくか必要がありそうだ🏋️🕺 https://t.co/hftavYgPDX
#FullBodyEstimation
2023年5月10日
Standable: Full Body Estimationが発売されたから早速遊んでみた
— とむねこ (@vtmrchat) May 9, 2023
3点じゃ出来なかった顔だけ横を向かせるが出来るだけでも私的にはありだった
フルトラ楽しいんだけど装備するのが面倒だから運動とかイベント参加以外はこれで良いかも pic.twitter.com/3lHrwiM4Ch
#FullBodyEstimation
2023年5月10日
「Standable: Full Body Estimation」がsteamでリリースされたのでちょっとだけお試し。トラッカーがなくてもHMDとコントローラーの3点トラッキングだけで疑似フルトラができる！体を綺麗にひねったり寝転がったりなんかもできるようになった👍 pic.twitter.com/0fRERskQev
— 和泉屋さん(VR) (@izumiya_san_vr) May 9, 2023
#3点トラッキングをフルトラに
2023年5月10日
3点トラッキングでも全身の姿勢を推定できちゃうフルトラツールついにリリースされたみたい！！😍💃
— オレンジ/メタバース撮影技術者 (@orange_3134) May 8, 2023
さっそくやってみた～い！ https://t.co/qYnNnMjVXS
#バーチャルモーションキャプチャ
2023年4月17日
槍ラッシュ。
— 無気力。 (@jackass_PK) April 16, 2023
槍も実物（120cmのトラッカー棒）を振り回してモーキャプしてます。#indie_anime#UE5 #VRM4U #KawaiiPhysics#バーチャルモーションキャプチャー pic.twitter.com/zQHOrOkbwl
#バーチャルモーションキャプチャ
2023年4月10日
無料版/先行配信版 #バーチャルモーションキャプチャー リリース！
— あきら☎︎@VMC (@sh_akira) April 7, 2023
Ver 0.55
・mocopiがカクつかないように！
→バッファリングと補間で、通信環境が悪くても滑らかに動く❗
・VMCProtocol周りの色々改善
・バグ修正
詳細は動画で！
先行版https://t.co/ZJaBqoe5oE
無料版https://t.co/MF4lPW6UJG pic.twitter.com/bQdIDlQGYZ
2023年4月10日
さっきの公式が動画上げてた。コレが動画だけで全自動とは信じられない。モーキャプのエラーも少ない。これを誰でも作れるようになったのは革命的 https://t.co/94jZNu5Z6j
— Hirokazu Yokohara (@Yokohara_h) April 7, 2023
#VIVE
2023年3月24日
HTCから新型トラッカーが発表されたぴょん
— ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) March 21, 2023
各所で大好評のVIVE XR Eliteはインサイドアウトなのでトラッカーはどうすのと思ってたらインサイドアウトのトラッカーがリリース
・最大５個まで使用可
・HMDなしの単独利用可
・OpenXR対応なので他メーカーのHMDでも使用可
-- https://t.co/jDsZ8TKDdz https://t.co/kmY4dvETk2 pic.twitter.com/X8cHFpSaiN
#VIVE
2023年3月24日
ちょおおおwww VIVEがカメラ内蔵インサイドアウト方式の「セルフトラッキングトラッカー」を発表しました！！！
— バーチャル美少女ねむ/Nem⚡大賞作家になったよ♥ (@nemchan_nel) March 21, 2023
・ベースステーションなしでフルトラ可能
・50%小型化
・2023 3Q発売予定#VIVEアンバサダー
VIVE Self-Tracking Tracker - https://t.co/7YGbCW5if5 pic.twitter.com/NYYo1l5Cvk
#VIVE
2023年3月2日
VIVE StreamingがSteamVR (OpenVR)のハンドトラッキングに対応し #VIRTUALMOTIONCAPTURE もSkeletal Input対応ということでVIVE Focus 3とリスト、フェイシャル、アイトラッカーを組み合わせた上半身トラッキングを試してみました💡
— VIVE サポート＠日本 (@ViveJapanSup) March 1, 2023
凄い！BlendShapeやキャリブレの調整で更に良くなりそうです😃 pic.twitter.com/BB6BxMfIpQ
#LipLearner
2023年2月24日
スマホで“口パク入力”を気軽にできるアプリ 東大とソニーCSLが「LipLearner」開発 https://t.co/k6Yau5wrQP 1から数回の発話で口パク入力の独自コマンドを登録できる。1コマンド5回の発話サンプル(動く唇)の学習で98.8％の口パク認識精度を達成。笑うとニコチャンマークを入力等も可能。 pic.twitter.com/vAZNQvfGz2
— Seamless (@shiropen2) February 24, 2023
#ハンドトラッキング
2023年2月19日
トラッキングアルゴリズムや、センサの設計周りを一から見直し、ハンドトラッキングを完全に刷新しました！
— Diver-X (@DiverX_VR) February 18, 2023
これまでの体格差によるクオリティの変化やブレ等の弱点を完全に克服しました！また中間域の再現性も大きく向上しています。
また、なんと指の反りにも対応しました💪 pic.twitter.com/EScZ3M9tuK
#PhysBone
2023年2月2日
みんなも指にPhysBone入れてください #VRChat pic.twitter.com/37XWbNBQxF
— Lucifer / ルシファー (@Lucifer_effect) February 1, 2023
2022年12月21日
HoloLensのハンドトラッキングを使ったデモ
— IVAN@AR × Marketing (@van_eng622) December 19, 2022
めちゃくちゃ自然にホログラムを操作していて感動pic.twitter.com/0IqSZmjoAK
モーションキャプチャ
2023年2月17日
ヒートマップを使わない姿勢推定手法Kapaoで、ラグビーの姿勢推定をやってみる
— cedro (@jun40vn) February 16, 2023
ブログ：https://t.co/FbGf5HqZbM pic.twitter.com/J2NPacNvOH
2023年2月15日
１７グラム、２０時間駆動のVRメタバース用フルトラ・デバイス【HaritoraX ワイヤレス】の性能詳細や試作機でのデモ動画を掲載し、商品ウェブページを更新しました。６個に増えたIMUは、とっても良い動きをしてくれています！動画をぜひご覧くださいhttps://t.co/JZF8JBwRiy
— 株式会社Shiftall (@shiftall_jp) February 14, 2023
2023年2月14日
YolactEdgeは、動画フレームから特徴量を抽出する部分で、一部を前のフレームのデータを流用する形にすることで、高速処理を実現した物体検出モデルです。
— cedro (@jun40vn) February 13, 2023
ブログ：https://t.co/hQOJin8j7b pic.twitter.com/51XNREdkxF
2023年2月14日
Mocopiに隠れてあまり話題になってないですが完全無線かつ足と腰胸にトラッキングの重点をおいたStonXトラッカー
— ジトメ (@ji10me) February 13, 2023
100Hzのレート
20時間稼働で重さ30g
ドリフト補正機能
クラウドファンディングですがIndiegogoで価格も37891円からと手頃で少しきになってます pic.twitter.com/z4bs6Sa8Ns
2023年2月1日
mocopiでデスクトップでもフルトラできるツールを公開しました！💃🎉
— オレンジ/メタバース撮影技術者 (@orange_3134) January 31, 2023
アバターを置いてボタンを押すだけ！めちゃ簡単だよ！😆👏
Neos VRで無料配布中💸！https://t.co/BOgZ5bZtrL#mocopi #NeosVR #バーチャルモーションキャプチャー pic.twitter.com/ZElPUkyxEj
2023年1月31日
E2Poseは、複数人の姿勢推定を高速に行う技術です。 処理速度は今までのほぼ倍、約30FPSを叩き出します。
— cedro (@jun40vn) January 30, 2023
ブログ：https://t.co/AWDm52pUdq pic.twitter.com/ABgzGsuXoC
2023年1月30日
mocopiを使ってデスクトップでも手足を動かせる「デスクトップフルトラシステム」boothで発売しました!
— ぐらる@パンダ (@gulaluVRC) January 29, 2023
ヘッドセットに縛られず、ダンスや楽器演奏したい方に特におすすめです!https://t.co/lBIabWg0Vg pic.twitter.com/yqm9usjOx2
2023年1月29日
Running YOLOv8 with segmentation on Viktor & Rolf fashion show. Lots of surfboards in this Haute Couture collection😄 pic.twitter.com/QGDESSTDus
— Alexandre Devaux (@AlexandreDevaux) January 28, 2023
2023年1月29日
mocopi（ばもきゃ経由）をNeosに同期できた！！！😳😳😳
— オレンジ/メタバース撮影技術者 (@orange_3134) January 28, 2023
デスクトップモードでフルトラできちゃいます！！👯♂️
うひょ～～～！！！😍#mocopi #NeosVR #バーチャルモーションキャプチャー pic.twitter.com/2aLztRK3Ko
2023年1月21日
これは左手でスマホを持ったまま自宅のPC席から立ち上がってトイレに行って帰ってきてみたのを撮影した動画です。
— ようてん (@youten_redo) January 20, 2023
積分的位置即位の精度が高すぎてヤバいのでVの皆様は配信中の離席にはご注意ください。#mocopi pic.twitter.com/8ey3QvXLpA
2023年1月21日
#mocopi #VRChat
— ∞∞hk∞∞/ひきこもり衆 (@livevr3) January 20, 2023
もこぴ！
少し手間取りましたがVRCで
もこぴ！とQuest2＋VirtualDesktopでフルトラテストヾ(≧▽≦)ﾉ
スマホの処理を経由してWifi経由してOSC経由してということで遅延は少しありますね😉
仕方ないですが腰のドリフトも少し
それでもここまでの精度で動き回れるしゅごい！🥳 pic.twitter.com/H2uExrCd97
2023年1月20日
とりあえずmocopiを使ってみた。何も調整してない状態でも簡単に動かせた。 pic.twitter.com/CwDxjDHfH4
— MuRo (@MuRo_CG) January 20, 2023
2023年1月13日
ディープラーニングを利用したWiFi信号による高密度の全身トレースで、画像ベースのアプローチに匹敵。複数人推定でき、低コストで、プライバシーを保護するセンシングアルゴリズムhttps://t.co/w5zjI8Rob8 pic.twitter.com/OCKwV3yCF4
— やまかず (@Yamkaz) January 12, 2023
2023年1月12日
DeepFit uses deep learning to identify ten different workouts. It also provides rep counting and feedback on your form in real-time for pushups and squats.
— Wevolver (@WevolverApp) January 12, 2023
Developed by @CarnegieMellon graduate students Abhinaav Singh and Naman Arora
Code and docs here: https://t.co/1Ride4pFu3 pic.twitter.com/DnsOF0w918
2023年1月11日
iCub 3 Avatar System - Tele esistenza
— Wevolver (@WevolverApp) January 10, 2023
The iCub is a #humanoid #robot designed to support research in embodied AI. The iCub has the size of a five year old child. It can crawl on all fours, walk and sit up to manipulate objects.
Video source: Istituto Italiano di Tecnologia pic.twitter.com/ar2NbZRs6y
2022年12月28日
E2Poseは、複数人の姿勢推定を高速に行う技術です。 処理速度は今までのほぼ倍、約30FPSを叩き出します。
— cedro (@jun40vn) December 26, 2022
ブログ：https://t.co/AWDm52pUdq pic.twitter.com/U5Uav3A4cN
2022年12月25日
以前に指機構を再現していたHBAハンドのハンド全体を再現してみました．曲げセンサ付きグローブによるリーダフォロワー制御を実装し，物体把持・操作ができることを確認しました．再現実験のため特に新規性はないのですが，もったいないので動画にしてまとめておきます． pic.twitter.com/22l730uQ61
— 電通大 東郷研究室 (@togo_lab) December 23, 2022
2022年12月21日
ヒートマップを使わない姿勢推定手法Kapaoで、マーチングバンドの姿勢推定をやってみる
— cedro (@jun40vn) December 19, 2022
ブログ：https://t.co/FbGf5Hqrme pic.twitter.com/b5vFLUlONl
2022年12月8日
無料で使えるモーションキャプチャーサービス『Rokoko Video』が公開。Webカメラなどで撮影した動画を使ってデータを生成https://t.co/Sa9SoBxPNz
— ゲームメーカーズ (@GameMakersJP) December 7, 2022
作成したデータは、Unreal Engineなどの3Dツールで使用可能。チュートリアル動画も用意されている pic.twitter.com/FR5N024rLl
2022年12月7日
VIVEトラッカー飛びやすい人は、ベースステーション増やすといいですよ(≧∇≦)/ 私は狭い部屋でゲーミングチェア(障害物)に寝転がってテーブル(障害物)でタイピングしながらVRしたい欲張りマンなので、テーブル下と足元に追加して、絶対飛ばない最強絶対座標フルトラ実現してます #VIVEアンバサダー pic.twitter.com/1YliOJ8Xg1
— バーチャル美少女ねむ/Nem⚡2/9『メタバース進化論』ITエンジニア本大賞決戦投票！ (@nemchan_nel) December 7, 2022
2022年12月5日
ファントムセンスで、4則アバターも操作可能なことを実証したと言える
「2足歩行の人間」が「4足歩行のロボット」を全身運動で直感操作するとこうなる：Innovative Tech - ITmedia NEWS https://t.co/pUYmEjzWFO #ロボット業界ニュース
— ロボットスタート（ロボスタ） (@robotstart) December 4, 2022
2022年11月29日
2022年11月29日
一般的に、StyleGANベースでポートレートのスタイル転送をする場合、顔の位置合わせや領域について制約があります。今回ご紹介する DCT-Net は、これらの制約を解消する技術です。
— cedro (@jun40vn) November 28, 2022
これは、動画にアニメスタイル転送をした例です。
ブログ：https://t.co/NpWybBVPBP pic.twitter.com/PVKb2xXR6h
2022年11月29日
#mocopi is supported in #VRChat! We teamed up with Sony to integrate their mobile motion capture solution, on both PCVR and Quest!
— VRChat (@VRChat) November 29, 2022
VRChatはソニーと提携し、PCVR版とQuest版の両方で、モバイルモーションキャプチャー「mocopi」に対応しました！
@raynosbySony will tell you more! https://t.co/tpeljzwGSa
2022年11月29日
おわりに
メタバースの参入障壁は着実に下がっています
手持ちのPCでもとりあえずおためし参入できます
いいなと思ったら応援しよう！
