見出し画像

【技術解説】Cases and Tips for VPS by SenseTime

デザイニウム

Introduction - はじめに

I’m Matt (@mechpil0t) an AR Engineer at the Designium, Over the past few months, we've been doing some serious testing with SenseTime about their VPS for the first time in Japan. Throughout this post, I will discuss some of my observations in using VPS by SenseTime.

VPS by SenseTime is a VPS highly suited to large areas including outdoor areas, for example, our highly successful testing in Shibuya Crossing and Gotanda.
Relocalization

デザイニウムのARエンジニアのMattです。この数ヶ月、日本で初めて本格的にSenseTimeのVPSを使った検証をしてきました。この記事では、SenseTimeのVPSを使ってみて感じたことをいくつか紹介したいと思います。

SenseTimeのVPSは、渋谷交差点や五反田での実証実験での結果を考えると、屋外を含む大規模エリアに適したVPS(Visual Positioning Service)です。

Reliability - 信頼性

The reliability of SenseTime has been very high in my testing. In both Shibuya Crossing and Gotanda, the success rate has been at least 80%.

私のテストでは、SenseTimeのVPSの信頼性は非常に高いものでした。渋谷の交差点や五反田では、80％以上の成功率を記録しています。

Accuracy - 精度

The accuracy of SenseTime is very high for this scale of mapping, particularly in terms of rotation accuracy.
During testing the map usually relocates within 30cm of the actual environment and is often far closer. One important note is that the rotation of the relocation is highly accurate. Rotational accuracy is very important for accurately locating objects over large distances, as tiny rotation inaccuracies are multiplied over large distances.
Accuracy Video, in this test I used the yellow tactile paving as an indication of accuracy. A transparent version of the Shibuya SenseTime Map (below) is overlaid on the real environment by the SenseTime relocation.

精度は、この規模の地図としては非常に高く、特に回転精度の点で優れています。
テストの結果、マップは実際の環境から通常30cm以内、しばしばそれよりもはるかに近い位置に再配置されます。重要な点として、再配置の回転が非常に正確であることが挙げられます。回転の精度は正確なオブジェクトの配置のために非常に重要です、それは小さな回転のズレでも非常に大きな距離で乗じられるためです。
精度検証の動画ですが、今回のテストでは、黄色の点字ブロックを精度の目安にしました。透過版の渋谷SenseTimeマップ(下)をSenseTime relocationで実環境に重ねています。

画像1

    SenseTime Map used for relocation

Speed - 速度

 SenseTime uses server based relocation and relocation usually takes between 1-2 seconds.

サーバーベースの再配置を使用しており、再配置には通常1～2秒かかります。

While this is not the fastest system (Immersal is usually around 0.5 seconds for server based relocation), because the map is so accurate I would suggest that users would need to relocate less often. In addition, I am assuming they will improve these times in future (as Immersal did throughout their development)

これは最速のシステムではありませんが（Immersalはサーバーベースの再配置で通常0.5秒程度）、マップが非常に正確なので、ユーザーが再配置をする頻度は少なくなると思います。さらに、将来的にはこの時間を改善してくれることを期待しています（Immersalが開発中に行ったように）。

Other - その他

False Positives
One issue that is not often considered about VPS systems is the problem of false positives, “successful” relocations that are incorrect. E.g. when the VPS system thinks that one part of a map is another part, which leads to incorrectly positioned content.

I have never experienced a single false positive with SenseTime. That is not to say it will never happen, but every other VPS I have used usually has 1 or 2 false positives in every extended test session. So I was very impressed by SenseTime having none.

誤認識について
VPSシステムについてあまり考慮されていない問題として、誤検出の問題があります。これは、ログ上は成功したにも拘らず再配置が間違っているというものです。例えば、VPSシステムが地図のある部分を別の部分だと思い込んでしまい、コンテンツの位置がおかしくなってしまうことがあります。

私はSenseTimeのVPSで誤検出を一度も経験したことがありません。絶対に起こらないというわけではありませんが、私が使ったことのある他のVPSでは、長時間のテストセッションではたいてい1～2回の誤検出がありました。そのため、SenseTimeのVPSでは一度もないことにとても感心しました。

Distance - 距離

In the video you can see that even when the system is relocating based on objects over 100 meters away the local position of the map is extremely accurate.

ビデオを見てみると、システムが100メートル以上離れたオブジェクトに基づいて再配置している場合でも、マップのローカル位置が非常に正確であることがわかります。

 For example in this video:

the user is based at the north side of Shibuya Crossing and the main elements in view are on the Shibuya Scramble Square building (some 200 meters away). After the successful relocation, the yellow tactile paving can be seen to be very accurately aligned.

ユーザーは渋谷交差点の北側にいて、約200メートル離れた渋谷スクランブルスクエアの建物が主な要素として見えています。再配置に成功した後、黄色の点字ブロックが非常に正確に配置されているのがわかります。

Mapping - マッピング

 How to
Unlike many VPS systems, the process scanning an area is simple and could be accomplished by non-experts. The process of mapping out Shibuya Crossing (more than 5000 square meters) took less than 1 hour.

操作方法
他の多くのVPSシステムとは異なり、エリアをスキャンするプロセスはシンプルで、専門家でなくても実現可能です。渋谷交差点（5,000平方メートル以上）のマッピングには、1時間もかかりませんでした。

画像2

The process:
・Record a 360 video which thoroughly covers the area.
・Measure key features in the area.
・Take some test videos (3 is usually fine)

The 360 video is recorded using an affordable camera (we use an Insta360 ONE R) and simply involved walking around the whole area in a number of directions. The video for Shibuya crossing took around 20 minutes (including waiting for crosswalk lights).

手順：
・360度の動画を撮影し、そのエリアを完全にカバーする。
・エリア内の主要な特徴を測定する。
・試し撮りをする（通常は3本程度でよい）

360度動画の撮影には、手頃な価格のカメラ（Insta360 ONE R）を使用し、エリア全体を様々な方向に歩いて撮影しました。渋谷の交差点を撮影するのに要した時間は約20分（信号待ちを含む）です。

画像3

After taking the 360 video SenseTime requires measuring the distance between a number of key points in the environment. For example, for the Shibuya Crossing map I measured the following distances using an AR measuring app.

SenseTimeのVPSでは、360°動画を撮影した後、環境の中にあるいくつかのキーポイント間の距離を測定する必要があります。例えば、渋谷交差点のマップでは、AR測定アプリを使って以下のような距離を測定しました。

画像4

Finally, the SenseTime team require some videos taken on a smartphone which would replicate how a user would be moving through the area.
For example for the Shibuya map I took 3 videos similar to this:

最後に、SenseTimeチームはユーザーがそのエリアをどのように移動するかを再現するために、スマートフォンで撮影したビデオを要求しています。
例えば、渋谷のマップでは、以下のような動画を3本撮影しました。


The one downside to SenseTime at the moment is the fact that maps are manually processed by the SenseTime team. This means there is no automated system or convenient dashboard like there is for Immersal.

Based on SenseTime's comment :
Due to SenseTime's roadmap for AR cloud related solutions, an open platform for map creating is under developing, and is assumed to release recently. This will allow users to upload data and download maps by themselves.

現時点でのSenseTimeのVPSの欠点は、マップがSenseTimeチームによって手作業で処理されているということです。つまり、Immersalのような自動化されたシステムや便利なダッシュボードは存在していません。

SenseTimeからのコメント：
SenseTimeのARクラウド関連ソリューションのロードマップでは、マップ作成のためのオープンプラットフォームが開発中であり、近日中にリリースされる予定です。これにより、ユーザーは自分でデータをアップロードしてマップをダウンロードできるようになります。

The company - 会社

 From our experience of working with SenseTime is that they are very responsive and seem open to improving their product based on feedback. For example, after testing their system in Gotanda and Shibuya Crossing I found two major issues with their system and they fixed them both quickly.

SenseTimeと仕事をした経験から言うと、彼らは非常にレスポンスが早く、フィードバックに基づいて製品を改善することに前向きです。例えば、五反田と渋谷の交差点でシステムをテストした後、彼らのシステムには2つの大きな問題がありましたが、どちらもすぐに修正してくれました。

 Unique features - ユニークな機能

One interesting feature SenseTime has shared with us but we haven't tried yet is that they claim their system works at night too. It simply required creating a second map at night time. This would make SenseTime far more robust than most other VPS systems which simply don't work in low light conditions.
However we need to test.

まだ試していませんが、SenseTime社が教えてくれた面白い機能のひとつに、夜間でもシステムが機能するというものがあります。そのためには、夜間に2つ目の地図を作成すればいいだけです。これによりSenseTimeは、光量の少ない状況では機能しない他の多くのVPSシステムよりもはるかに強固なものとなるでしょう。
しかしながら、テストをする必要はあります。

Case Study - 実験事例 

Future - 今後について

SenseTime says they're preparing to make it available in Japan, so we'll see!
We'll keep you posted on the Designium Twitter, so be sure to follow our account!

SenseTime社は日本でも使えるように準備中とのことなので、今後が楽しみです。DesigniumのTwitterでも随時情報を発信していきますので、ぜひアカウントをフォローしてください！

Editorial Note - 編集後記

こんにちは！広報のマリコです。ARクラウド技術の中でも注目のSenseTimeの日本初となる検証記事、いかがだったでしょうか？✨前回検証したVPSサービスのひとつであるImmersalの検証記事をはじめ、様々なAR開発やR&Dを行っていますのでので、ぜひTwitterやnoteをフォローしてくださいね❗

Hello! I'm Mariko from The Designium PR😊
How was the first Japanese article on SenseTime, one of the most popular AR cloud technologies? We are working on various R&D projects, including an article on the verification of Immersal, one of the VPS services. We have a lot of other AR projects in the works, so please follow us on Twitter and note to check them out!!

いいなと思ったら応援しよう！