BingAIにサッカーの試合映像を3D化するまでの道筋を教えてもらった話
どうも、株式会社アドウェイズ・ベンチャーズの野末です。
現在nopseという事業の中で、TutorsというオンラインスクールOEMサービス開発を行っております。
Tutorsというのはメソッドをもつ業界の第一人者の方のメソッドをオンラインスクールの形で提供する事業で、実はあの風間八宏さんと提携し、TRAUM COACHING ACADEMYというサービスを開発・運用しております。
今回のゴール
タイトルにある通り、サッカーの試合映像を3D化するまでのロードマップを理解することです。（ドクターストーン、良いですよね）
私は非エンジニアでUXデザインを得意領域としている（し、チームにフルアサインエンジニアがいない）ため、技術にはかなり疎い状態なので、取っ掛かりのためにBingAIに聞いてみようというのが経緯になります。
何を作るのか？
簡単な要件としては以下になります。
カメラ１台の映像から選手を3Dモデル化したい
グラフィックの部分の精度は高くなくて良い
人の動きとボールの動きの精度は高く
シミュレーションを行ったあと、3Dモデルの特定のステータスを調整できる
うーん、なかなか難しい。全然わからん。
FIFAですら選手にトラッキング用の服着せてるのに行けるの？という感。
なぜこれを作るのかといえば、現在主流になっているスタッツや戦術を用いたサッカー分析にもう１つの軸として、選手個人をより深く分析する流れを作る事が目的になります。
例えば、風間八宏さんが提唱した【止める・蹴る】ですが、実は少し違った形で世の中に伝わってしまっている部分もあります。
元々の意図をしっかり伝えるには実際の試合の映像を使って共有していくことが最も良いのですが、権利的な問題で難しい部分も多い。
だったら3Dモデル化したら良いんじゃないか？というジャストアイデアに基づいた機能案だったりするわけです。
BingAIに聞いてみた
すごい。めっちゃ抽象的な言葉でも結構まとまった情報くれますね。
ただ、今回は持ってる人の少ないHoloLensとかは使いたくないし、編集作業も挟みたくない。特別な機械も使いたくないし編集ソフトとかも使いたくないんだけど無いの？という無茶振りをしてみました。
あるんですね、すごい。
どうもAnyMotionというサービスらしいです。
すごい。APIで利用できるのは普通にすごい。
これ解決じゃね…？とか思いましたが割と好奇心の塊なので色々聞いてみた結果…とりあえず以下の事がわかりました。
姿勢推定AIと呼ばれる物が必要
AnyMotion（API）・VisionPose（SDK）がある
姿勢推定AIはデータ化までしかできないので3D化は別で開発が必要
フルマッチ分析するのはかなり大変なので、ハイライトを作ったほうが良い
ハイライトの自動生成には検出モデルとセグメンテーションモデルからなる分類モデルが必要（もちろん定義も）
…という事が大体15分くらいでわかりました。すごすぎる。Googleの検索クエリの叩き方で仕事の出来が決まるなんて言うIT業界の言説は過去のものって感じしますね。
完成したロードマップ
途端にTech企業なAI採用数ですね！！！
もちろん、元となる風間八宏さんのサッカーの定義がないと価値が発揮出来ないとはいえ、これができれば指導者向けプロダクトとしては非常に強い武器になるはずです。
完全にスポーツテック領域の深い部分に足を踏み入れる意思決定ですが、少しずつでもこれはやっていきたいなと思います。
ともあれあれですね、本当にこれって意味あるの？という部分の検証を行わないといけないので、MVPを作成していきたいと思います。
…mocopiとunity使えばできそうな感じがしますが、どうでしょう。
進捗あったら共有していきたいと思います！
積極採用中
ということで、こんな事をやっていく中で採用活動も行っております！
ここに書いて来たようなことを読んで興味を持っていただけた方は以下からぜひお話しましょう！