AIの予測精度検証(S級競走編)

最終更新日：2021/08/01
日々の配信コンテンツのひとつである「AIによるレース分析データ」で掲載している各種予測値の精度を検証してまとめています。精度検証の簡単な例を挙げると、AIが1着率50%と予測したものが実際に1着に来た割合を検証する、という感じです(Calibration curveで検証)。

※データは気が向いたときに更新します。
※本記事ではS級競走の分析データを掲載しています。A級1,2班競走、チャレンジ競走は以下の記事にまとめています。

精度検証結果(概要)

概ねAIの予測確率どおりの結果に収束していますので、AIが出す各種予測値は競輪予想のファクターのひとつとして十分利用可能な精度かと思います。

精度検証結果(詳細)

集計対象期間と予測対象レース数
・集計対象期間 … 2012年1月1日 ~ 最終更新日まで
・予測対象レース数 … 42496レース

予測精度検証結果グラフの見方
AIの予測精度検証にはCalibration curveを使っています。Calibration curveは予測した確率と実際の確率がどの程度一致しているかを確認する手法です。
予測精度検証結果を示したグラフは横軸をAIの予測値、縦軸を実際に的中した割合としています。それぞれの軸のレンジは同じにしてあるので理想的にはグラフの左下から右上へ対角線がプロットされます(AIの予測した確率と実際の的中率が一致している状態)。

予測精度検証結果グラフ
次の5つの予測精度検証グラフを順に掲載しています。
(1)1着予測値
(2)2連対予測値
(3)3連対予測値
(4)ライン毎での2車複的中予測値
(5)ライン毎のワイド的中予測値

おわり。