SportsMOT というバレー・バスケ・サッカーの選手をトラッキングするデータセットが出た

Papers with Code - SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

マルチオブジェクトトラッキング用の新しいデータセット。
1. 高速で、速度変化が含まれる動き
2. 似ているけれども、目で見て違いが分かる外観
という２つの特徴が重要だと主張している。

データセット概要

バスケットボール、バレーボール、サッカーの3つのカテゴリーに対して、240のビデオクリップ、150,000フレーム以上、1.6M以上の境界ボックスを含んだデータセット。SportsMOTは、各フレームで各プレイヤーに対して1つの境界ボックスを提供し、トラッキング精度を向上させるために高品質なアノテーションが施されているらしい。

SportsMOTは、各プレイヤーに対して密度が高い境界ボックスを提供することで、プレイヤーの位置や動きを正確に追跡することがでると主張している。

スポーツトラッキングの重要性

スポーツトラッキングは、スポーツ分析やコーチング、選手のパフォーマンス向上などにおいて重要らしい。トラッキング技術を使用すると、プレイヤーの動きや位置を正確に把握でき、チームの戦略や戦術を改善したり、個々のプレイヤーの弱点を特定して改善したりすることができる。

また、トラッキング技術は、スポーツ放送や観客体験の向上にも役立つ。例えば、リアルタイムでプレイヤーの位置情報を表示することで、観客が試合をより深く理解し楽しむことができると考えられる。ウイニングイレブンみたいな感じ。

データセットとアノテーション

データセットは、NCAA、プレミアリーグ、オリンピックなどの高品質なプロの試合映像をYouTube収集した。オブジェクトトラッキングを行うことができるように、すべての動画はシーンの切り替えがないことを人がチェックしている。

アノテーションは、以下のガイドラインに従って行われた。
- アスリートの手足と胴体全体にアノテーション
- オクルージョンが発生した時、見えない部分は推測する
- 各選手がクリップ全体を通してユニークなIDを持っていることを確認する
なお、width or height が 5px 以下のデータは削除されている。

MixSort パイプライン

今回発表されたデータセットの特徴は、
1. 高速で、速度変化が含まれる動き
2. 似ているけれども、目で見て違いが分かる外観
の２つです。
この特徴を兼ね備えたSportsMOTデータセットで、高い性能を示すMixSort というパイプラインが論文中で紹介されています。
MixSort は、MixSort 用にカスタマイズしたMixFormer (テンプレートとODの結果を入力し、類似度判定を行うモデル)モデルと、カルマンフィルタのような物体追跡アルゴリズムを混ぜ合わせてMOT を行うパイプラインです。

MixSort のパイプライン

論文中では、MixSort の性能を
- MixSort を別のデータセットで評価
- 他の論文の手法を、SportsMOTで評価
など、多面的に比較して、MixSort の有効性やSportsMOTの有用性を示しています。

まとめ

SportsMOTというデータセットを提案した論文。
同時に提案された、MixSort という手法の有効性も示した。

感想

とても久しぶりに、論文を読みました。
論文を読む力の衰え？のようなものを感じました。
何回同じ文を読み直したかわからない。。。
衰えを感じたので、少し自分を鍛え直そうと思います。

本当は、もっと書きたいことあったのですが、まとまらず。ちぐはぐな感じになっていてすいません。リハビリということでこのぐらいで。。。

今日のランチ

まさかの、昨日と同じ。

三鼎

• 牛筋と筍・シイタケのとろみ麺: 940円

• 大盛り: 200円